[论文解读] A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning

Ankur Sinha, Tanmay Khandait+1 more|arXiv (Cornell University)|Jul 21, 2020

Machine Learning and Data Classification参考文献 22被引用 11

一句话总结

本文提出了一种基于梯度的双层优化方法用于超参数调优，通过近似底层最优值函数（φ映射）将双层问题转化为单层约束优化问题，再利用增广拉格朗日法求解。该方法显著降低了计算成本——在超参数数量增加时，相比网格搜索或贝叶斯优化，实现更优测试性能仅需减少高达100倍的底层优化次数。

ABSTRACT

Hyperparameter tuning is an active area of research in machine learning, where the aim is to identify the optimal hyperparameters that provide the best performance on the validation set. Hyperparameter tuning is often achieved using naive techniques, such as random search and grid search. However, most of these methods seldom lead to an optimal set of hyperparameters and often get very expensive. In this paper, we propose a bilevel solution method for solving the hyperparameter optimization problem that does not suffer from the drawbacks of the earlier studies. The proposed method is general and can be easily applied to any class of machine learning algorithms. The idea is based on the approximation of the lower level optimal value function mapping, which is an important mapping in bilevel optimization and helps in reducing the bilevel problem to a single level constrained optimization task. The single-level constrained optimization problem is solved using the augmented Lagrangian method. We discuss the theory behind the proposed algorithm and perform extensive computational study on two datasets that confirm the efficiency of the proposed method. We perform a comparative study against grid search, random search and Bayesian optimization techniques that shows that the proposed algorithm is multiple times faster on problems with one or two hyperparameters. The computational gain is expected to be significantly higher as the number of hyperparameters increase. Corresponding to a given hyperparameter most of the techniques in the literature often assume a unique optimal parameter set that minimizes loss on the training set. Such an assumption is often violated by deep learning architectures and the proposed method does not require any such assumption.

研究动机与目标

• 解决传统超参数调优方法（如网格搜索和随机搜索）效率低下且成本高昂的问题。
• 克服现有双层优化方法对严格假设（如最优参数集合唯一）的依赖。
• 开发一种通用的一阶方法，适用于任意机器学习模型，无需Hessian近似或强假设。
• 通过近似φ映射将双层问题转化为单层约束问题，从而减轻超参数优化中的计算负担。
• 在基准数据集上相比贝叶斯优化和网格搜索，实现更快的收敛速度和更优的泛化性能。

提出的方法

• 将超参数优化建模为双层问题：上层最小化验证损失，下层最小化训练损失。
• 近似底层最优值函数（φ映射），即从超参数到最优训练损失的映射，从而将双层问题简化为单层约束问题。
• 采用增广拉格朗日法求解所得的单层约束优化问题，实现高效且稳定的收敛。
• 通过采样和有限差分估计φ映射，避免了Hessian计算或迭代梯度近似的需要。
• 将φ映射近似集成到增广拉格朗日框架中，计算成本以底层优化次数加上增广拉格朗日更新步骤数进行跟踪。
• 通过仅增加采样规模和增广拉格朗日子问题中的少量变量，确保方法具有可扩展性。

实验结果

研究问题

• RQ1 能否开发一种基于梯度的双层优化方法，避免Hessian近似和迭代梯度估计带来的计算负担？
• RQ2 近似φ映射是否能在不假设每个超参数对应唯一最优参数集的前提下，实现高效且准确的超参数调优？
• RQ3 在不同超参数维度下，该方法在计算效率和测试性能方面与网格搜索、随机搜索及贝叶斯优化相比如何？
• RQ4 随着超参数数量的增加，该方法是否能保持性能和可扩展性？
• RQ5 φ映射近似在多大程度上减少了达到最优超参数所需的底层优化次数？

主要发现

• 在MNIST数据集的6个测试案例中（1个或2个超参数），所提方法（PVM）在所有情况下均实现了最低的测试集损失，优于网格搜索和贝叶斯优化。
• 对于1个超参数情况，PVM平均仅需10 (+4)次底层优化，远低于网格搜索的100–1000次和贝叶斯优化的50次，同时取得了更优的测试性能。
• 对于2个超参数情况，PVM仅使用50 (+4)次底层优化，显著少于网格搜索所需的1000次，且泛化性能更优。
• 收敛图显示，PVM在增广拉格朗日优化中表现出一致的收敛性，MNIST 10000（1个超参数和2个超参数情况）均得到验证。
• 即使在超参数数量增加时，PVM仍保持高效，因为φ映射的采样规模线性增长，且增广拉格朗日子问题仅增加少量变量。
• 该方法无需假设每个超参数对应唯一的最优模型参数集合，因此对深度学习中常见的非唯一解具有鲁棒性。