[论文解读] Efficient hyperparameter optimization by way of PAC-Bayes bound minimization

John J. Cherian, Andrew G. Taube+7 more|arXiv (Cornell University)|Aug 14, 2020

Machine Learning and Data Classification参考文献 48被引用 4

一句话总结

本文提出了一种基于最小化PAC-Bayes界的新超参数优化方法，旨在降低高维超参数设置下的过拟合问题。通过将目标函数表述为可微分的PAC-Bayes泛化界，并采用基于梯度的优化方法，该方法在泛化性能上优于标准方法，且渐近时间复杂度与现有方法相当或更优。

ABSTRACT

Identifying optimal values for a high-dimensional set of hyperparameters is a problem that has received growing attention given its importance to large-scale machine learning applications such as neural architecture search. Recently developed optimization methods can be used to select thousands or even millions of hyperparameters. Such methods often yield overfit models, however, leading to poor performance on unseen data. We argue that this overfitting results from using the standard hyperparameter optimization objective function. Here we present an alternative objective that is equivalent to a Probably Approximately Correct-Bayes (PAC-Bayes) bound on the expected out-of-sample error. We then devise an efficient gradient-based algorithm to minimize this objective; the proposed method has asymptotic space and time complexity equal to or better than other gradient-based hyperparameter optimization methods. We show that this new method significantly reduces out-of-sample error when applied to hyperparameter optimization problems known to be prone to overfitting.

研究动机与目标

• 解决高维超参数优化中的过拟合问题，特别是在神经架构搜索等大规模机器学习应用中。
• 基于PAC-Bayes理论，设计一种能更好泛化到未见数据的新优化目标。
• 设计一种高效的基于梯度的算法，以最优的空间和时间复杂度最小化PAC-Bayes界。
• 在易发生过拟合的超参数优化问题上，实证验证其优于样本外性能。

提出的方法

• 该方法将超参数优化表述为对期望样本外误差的PAC-Bayes界最小化问题。
• 引入一种源自PAC-Bayes泛化界、可微分的目标函数，从而支持基于梯度的优化。
• 该算法使用随机梯度下降，通过反向传播模型的泛化误差估计来优化超参数。
• 其渐近空间与时间复杂度与现有基于梯度的超参数优化方法相当或更优。
• 该方法将超参数视为具有后验分布的随机变量，从而利用贝叶斯泛化界指导优化过程。
• 该方法可扩展至数千甚至数百万个超参数，适用于现代深度学习工作负载。

实验结果

研究问题

• RQ1 与标准的经验风险最小化相比，基于PAC-Bayes的目标函数是否能在高维超参数优化中有效降低过拟合？
• RQ2 所提出的基于梯度的优化方法在计算复杂度上与现有超参数优化技术相比如何？
• RQ3 最小化PAC-Bayes界是否能在实际超参数调优任务中提升对未见数据的泛化性能？
• RQ4 该方法是否能高效扩展至神经架构搜索中常见的大规模超参数空间？
• RQ5 在基准超参数优化问题中，使用PAC-Bayes目标对样本外误差的实证影响如何？

主要发现

• 在已知易发生过拟合的问题上，所提方法显著降低了样本外误差，优于标准超参数优化技术。
• 该方法在渐近空间与时间复杂度上与现有基于梯度的超参数优化方法相当或更优。
• 通过最小化PAC-Bayes界，该方法在不需额外超参数调优或验证数据的情况下提升了泛化性能。
• 该方法在多种超参数优化任务中表现出稳健性能，尤其在高维设置下表现突出。
• 实证结果证实，PAC-Bayes目标可使模型在未见数据上具有更好的泛化能力，验证了其理论基础。