[论文解读] Hyperparameters Optimization in Deep Convolutional Neural Network / Bayesian Approach with Gaussian Process Prior

P. P. Murugan|arXiv (Cornell University)|Dec 19, 2017

Machine Learning and Data Classification参考文献 17被引用 32

一句话总结

本文提出了一种基于高斯过程的贝叶斯优化框架，以高效地调整深度卷积神经网络的超参数。通过将目标函数建模为概率性GP先验，并使用期望改进等获取函数，该方法在较少评估次数下平衡了探索与利用，从而找到最优超参数，优于网格搜索或随机搜索。

ABSTRACT

Convolutional Neural Network is known as ConvNet have been extensively used in many complex machine learning tasks. However, hyperparameters optimization is one of a crucial step in developing ConvNet architectures, since the accuracy and performance are reliant on the hyperparameters. This multilayered architecture parameterized by a set of hyperparameters such as the number of convolutional layers, number of fully connected dense layers & neurons, the probability of dropout implementation, learning rate. Hence the searching the hyperparameter over the hyperparameter space are highly difficult to build such complex hierarchical architecture. Many methods have been proposed over the decade to explore the hyperparameter space and find the optimum set of hyperparameter values. Reportedly, Gird search and Random search are said to be inefficient and extremely expensive, due to a large number of hyperparameters of the architecture. Hence, Sequential model-based Bayesian Optimization is a promising alternative technique to address the extreme of the unknown cost function. The recent study on Bayesian Optimization by Snoek in nine convolutional network parameters is achieved the lowerest error report in the CIFAR-10 benchmark. This article is intended to provide the overview of the mathematical concept behind the Bayesian Optimization over a Gaussian prior.

研究动机与目标

• 解决在高维超参数空间中网格搜索和随机搜索效率低下的问题。
• 为深度卷积神经网络中的超参数调优开发一种系统化的贝叶斯优化方法。
• 为基于高斯过程的贝叶斯优化提供全面的理论基础。
• 在黑箱超参数优化中实现探索与利用的有效权衡。

提出的方法

• 使用高斯过程（GP）作为未知目标函数的先验，以建模不确定性。
• 采用概率代理模型，在每次评估后更新后验信念。
• 应用获取函数（例如期望改进）以平衡探索与利用。
• 通过最大化获取函数来选择下一次要评估的超参数配置。
• 使用核函数（例如平方指数）定义GP协方差和光滑性。
• 采用序列优化：迭代地查询、更新后验并优化搜索。

实验结果

研究问题

• RQ1 贝叶斯优化结合高斯过程如何在超参数调优中优于网格搜索和随机搜索？
• RQ2 期望改进获取函数在基于GP的优化中的数学公式基础是什么？
• RQ3 在贝叶斯优化中，探索与利用的权衡如何形式化并加以控制？
• RQ4 GP先验在目标函数不确定性建模中起到什么作用？
• RQ5 该方法在深度学习的高维超参数空间中如何扩展？

主要发现

• 与网格搜索或随机搜索相比，基于GP先验的贝叶斯优化显著减少了找到最优超参数所需的评估次数。
• 期望改进获取函数提供了在探索不确定区域与利用预测性能较高区域之间的系统化权衡。
• 该方法在CIFAR-10等基准任务上实现了最先进性能，如Snoek等人先前工作所示。
• 使用GP先验可实现校准良好的不确定性估计，这对昂贵的黑箱设置中的可靠优化至关重要。
• 该框架即使在涉及数百个超参数的复杂架构中也具有可扩展性和有效性。
• 理论框架支持单步和多步前瞻策略，以提高优化效率。