[论文解读] Hyperparameter Optimization of Deep Neural Networks Using Non-Probabilistic RBF Surrogate Model.

Ilija Ilievski, Taimoor Akhtar+2 more|arXiv (Cornell University)|Jul 28, 2016

Machine Learning and Data Classification参考文献 21被引用 12

一句话总结

本文提出 HORD，一种用于深度神经网络的非概率超参数优化方法，采用径向基函数（RBF）代理模型来近似验证误差。通过用基于 RBF 的代理模型替代高斯过程等概率模型，HORD 在性能上优于贝叶斯优化方法（如 Spearmint 和 TPE），在更少的昂贵评估次数下找到近似最优解，并在高维和高观测量设置下表现出良好的可扩展性。

ABSTRACT

Recently, Bayesian optimization has been successfully applied for optimizing hyperparameters of deep neural networks, significantly outperforming the expert-set hyperparameter values. The methods approximate and minimize the validation error as a function of hyperparameter values through probabilistic models like Gaussian processes. However, probabilistic models that require a prior distribution of the errors may be not adequate for approximating very complex error functions of deep neural networks. In this work, we propose to employ radial basis function as the surrogate of the error functions for optimizing both continuous and integer hyperparameters. The proposed non-probabilistic algorithm, called Hyperparameter Optimization using RBF and DYCORS (HORD), searches the surrogate for the most promising hyperparameter values while providing a good balance between exploration and exploitation. Extensive evaluations demonstrate HORD significantly outperforms the well-established Bayesian optimization methods such as Spearmint and TPE, both in terms of finding a near optimal solution with fewer expensive function evaluations, and in terms of a final validation error. Further, HORD performs equally well in low- and high-dimensional hyperparameter spaces, and by avoiding expensive covariance computation can also scale to a high number of observations.

研究动机与目标

• 为解决高斯过程等概率模型在近似深度神经网络复杂误差函数时的局限性。
• 开发一种非概率的超参数优化替代方法，避免对误差分布的先验依赖。
• 在连续和整数超参数空间中有效平衡探索与利用。
• 通过减少计算成本（尤其是协方差计算）来提高优化效率，尤其适用于大规模观测。
• 在低维和高维超参数空间中均实现优异性能，同时不牺牲准确性。

提出的方法

• 使用径向基函数（RBF）作为代理模型，将验证误差近似为超参数取值的函数。
• 采用 DYCORS 算法在 RBF 代理空间内引导搜索，以寻找有前景的超参数配置。
• 通过使用确定性的 RBF 插值而非概率建模，避免对误差分布的先验假设。
• 通过 DYCORS 算法中的信任域方法，自适应地采样新点，实现探索与利用的平衡。
• 通过避免高斯过程方法中典型的昂贵协方差矩阵计算，实现高效扩展。
• 支持连续和整数超参数，提升在真实世界深度学习超参数搜索中的适用性。

实验结果

研究问题

• RQ1 非概率的 RBF 代理模型是否能在深度神经网络的超参数调优中超越概率性贝叶斯优化方法？
• RQ2 与最先进的方法（如 Spearmint 和 TPE）相比，所提出的 HORD 方法在收敛速度和最终验证误差方面表现如何？
• RQ3 HORD 方法在低维和高维超参数空间中是否均保持优异性能？
• RQ4 RBF 模型中缺乏对误差分布的先验假设，在处理复杂、非平稳误差函数时，是否显著提升了鲁棒性？
• RQ5 HORD 框架是否能高效扩展到大量观测数据，而不会带来高昂的计算成本？

主要发现

• HORD 显著优于 Spearmint 和 TPE 等贝叶斯优化方法，在更少的昂贵函数评估次数下找到近似最优的超参数配置。
• 在多个基准数据集和深度学习模型上，HORD 的最终验证误差均低于 Spearmint 和 TPE。
• 该方法在低维和高维超参数空间中均表现稳定，展现出对维度的强鲁棒性。
• 通过避免昂贵的协方差计算，HORD 高效扩展至大量观测数据，适用于大规模超参数搜索。
• 非概率的 RBF 代理模型无需对误差分布做先验假设，即可有效近似深度神经网络的复杂非线性误差函数。
• HORD 保持了探索与利用之间的良好平衡，实现了超参数空间中高效全局搜索。