[论文解读] Speed learning on the fly

Pierre-Yves Massé, Yann Ollivier|arXiv (Cornell University)|Nov 8, 2015

Stochastic Gradient Optimization Techniques参考文献 8被引用 5

一句话总结

本文提出了一种用于随机梯度下降（SGD）及其相关算法的在线自适应步长方法，通过将学习率视为需实时优化的超参数。该方法通过对步长本身进行梯度上升来实现，利用反向传播通过优化轨迹高效计算，从而在无需完整反向传播的情况下实现自动适应，并在多种模型上仅需极少的超参数调优即取得优异性能。

ABSTRACT

The practical performance of online stochastic gradient descent algorithms is highly dependent on the chosen step size, which must be tediously hand-tuned in many applications. The same is true for more advanced variants of stochastic gradients, such as SAGA, SVRG, or AdaGrad. Here we propose to adapt the step size by performing a gradient descent on the step size itself, viewing the whole performance of the learning trajectory as a function of step size. Importantly, this adaptation can be computed online at little cost, without having to iterate backward passes over the full data.

研究动机与目标

• 解决在线随机梯度下降对学习率手动超参数调优的敏感性问题。
• 开发一种在训练过程中自动适应步长的方法，以最大化累积目标性能。
• 实现在线、低成本的学习率自适应，而无需对整个数据集进行反向传播。
• 将该方法扩展至SVRG等高级变体，提升收敛性与鲁棒性。

提出的方法

• 该方法将学习率视为超参数，并利用累积目标函数对步长的导数，对学习率执行梯度上升。
• 通过沿训练轨迹递归更新Hessian与梯度项，计算∂/∂η ℓₜ(θₜ(η))的导数。
• 引入一种基于记忆加权梯度更新的实用近似方法，受[SZL13]启发，优先考虑近期步长，降低计算成本。
• 通过调整更新规则以适应方差减少的梯度估计，将该算法扩展至SVRG。
• 采用对数参数化表示步长，以稳定更新并改善数值行为。
• 通过在参数更新序列上应用链式法则，计算优化路径上的梯度，避免完整反向传播。

实验结果

研究问题

• RQ1 能否在在线训练过程中自动优化学习率，而无需手动调优或完整反向传播？
• RQ2 在在线设置下，如何高效计算累积目标函数对步长的梯度？
• RQ3 通过在学习率上进行梯度上升实现的自适应步长选择，是否能提升不同模型与算法的收敛性与性能？
• RQ4 该方法能否扩展至如SVRG等方差减少的随机优化方法？
• RQ5 使用记忆加权梯度更新对自适应学习率的稳定性与性能有何影响？

主要发现

• 所提出的SG/SG方法在所有测试模型（包括一维高斯分布、伯努利分布及50维线性回归）中，性能显著优于使用固定学习率的标准SGD。
• 自适应学习率方案降低了对初始超参数选择的敏感性，实现了无需手动调优的稳健性能。
• 该方法成功扩展至SVRG，与固定步长变体相比，表现出更优的收敛性与稳定性。
• 理论分析证实，该更新规则近似于在步长序列空间中对学习率的真实梯度上升。
• 记忆加权变体（SG/AG）通过优先考虑近期步长调整，提升了性能，实现更快适应与更优的最终目标值。
• 实证结果表明，该自适应方法在累积目标值与收敛速度方面，均优于固定学习率SGD与AdaGrad。