[论文解读] Hot Swapping for Online Adaptation of Optimization Hyperparameters

Kevin Bache, Dennis DeCoste+1 more|arXiv (Cornell University)|Dec 20, 2014

Advanced Bandit Algorithms Research参考文献 8被引用 4

一句话总结

本文提出了一种名为热交换（hot swapping）的新型在线超参数自适应方法，用于随机梯度下降（SGD），其中学习率通过折扣上置信度界（DUCB）多臂赌博机算法动态选择。该方法在训练损失和测试误差方面优于AdaDelta和穷举SGD超参数搜索，即使每轮迭代速度较慢，也因更智能、自适应的学习率选择而实现更快收敛至更平坦、泛化能力更强的最优解。

ABSTRACT

We describe a general framework for online adaptation of optimization hyperparameters by `hot swapping' their values during learning. We investigate this approach in the context of adaptive learning rate selection using an explore-exploit strategy from the multi-armed bandit literature. Experiments on a benchmark neural network show that the hot swapping approach leads to consistently better solutions compared to well-known alternatives such as AdaDelta and stochastic gradient with exhaustive hyperparameter search.

研究动机与目标

• 解决训练过程中在线、动态调整优化超参数（特别是学习率）的挑战，而无需预定义调度策略。
• 通过将学习率选择视为探索-利用问题并利用多臂赌博机策略，提升优化性能。
• 克服静态超参数调优（如网格搜索或随机搜索）以及基于曲率的自适应方法（如AdaDelta）的局限性。
• 实现实时超参数自适应，计算开销和内存占用极低，同时保持SGD的高效性。
• 证明通过赌博机算法实现的动态学习率选择可带来更一致的泛化性能提升和更快收敛。

提出的方法

• 该方法使用DUCB赌博机模型在每个优化步骤中选择学习率，平衡对新学习率的探索与对高性能学习率的利用。
• 学习率性能通过对数奖励进行评估：r = log(f(θ₀; B)) − log(f(θₖ; B))，其中f为目标函数，θₖ为使用学习率αₖ更新后的参数。
• 从DUCB建议的学习率出发，执行小批量线搜索，以确保每次更新均减少目标函数，防止灾难性步长。
• DUCB模型通过加权折扣保留奖励历史，优先考虑近期表现，从而适应优化动态的变化。
• 该算法支持训练过程中的“热交换”学习率切换，即在不同迭代中使用不同学习率更新参数，而无需重新初始化。
• 该方法与标准SGD兼容，每轮迭代保持线性时间复杂度，仅因线搜索引入适度的额外计算开销。

实验结果

研究问题

• RQ1 基于赌博机的选择实现的在线、动态学习率自适应是否能在深度学习优化中超越静态方法或基于曲率的自适应方法？
• RQ2 与SGD的穷举超参数搜索相比，采用DUCB的热交换方法是否能实现更快收敛和更低的最终目标值？
• RQ3 在测试准确率和训练目标函数随时间的变化方面，热交换方法与AdaDelta相比表现如何？
• RQ4 DUCB方法在接近局部极小值时，多大程度上能自然降低学习率？
• RQ5 与基线算法相比，该方法是否能实现更平坦的极小值（与更好泛化能力相关）？

主要发现

• 所有15种热交换DUCB算法实例的训练似然均优于测试的1125种SGD超参数组合。
• 尽管每轮迭代速度较慢（比SGD/AdaDelta慢1.6–3.6倍），DUCB方法在1000秒训练时间内实现了最佳测试误差率。
• DUCB算法在SGD和AdaDelta已趋于平台期后仍持续实现显著的训练进展，收敛至更低的最优解。
• DUCB方法自然地随时间降低学习率，表明其在收敛附近具备自适应行为。
• 随时间变化的梯度范数平均值显示，DUCB算法找到的极小值比其他方法更平坦，表明其具有更好的泛化潜力。
• 在其他测试问题上，该方法表现出色，测试准确率方差更大，表明其在强正则化下受益，有助于避免过拟合。