[论文解读] Gradient descent revisited via an adaptive online learning rate

Mathieu Ravaut, Satya Krishna Gorti|arXiv (Cornell University)|Jan 27, 2018

Stochastic Gradient Optimization Techniques参考文献 11被引用 5

一句话总结

本文提出了一种梯度下降的自适应在线学习率方法，其中在每次迭代中使用有限差分法近似损失函数的一阶和二阶导数，以优化学习率。该方法在初始阶段的收敛速度优于固定学习率的SGD和Adam，但若无正则化则存在过拟合风险。

ABSTRACT

Any gradient descent optimization requires to choose a learning rate. With deeper and deeper models, tuning that learning rate can easily become tedious and does not necessarily lead to an ideal convergence. We propose a variation of the gradient descent algorithm in the which the learning rate is not fixed. Instead, we learn the learning rate itself, either by another gradient descent (first-order method), or by Newton's method (second-order). This way, gradient descent for any machine learning algorithm can be optimized.

研究动机与目标

• 为解决深度学习中手动调优学习率耗时且常不理想的问题。
• 开发一种在每个训练步骤自动学习最优学习率的方法，减少对启发式学习率调度的依赖。
• 探索利用有限差分法实现的一阶与二阶优化策略，用于学习率自适应。
• 评估自适应学习率是否能在凸与非凸深度学习任务中加速收敛。
• 研究自适应学习率方法在训练速度提升与过拟合风险增加之间的权衡。

提出的方法

• 在每次迭代中，通过在损失函数 f(η) = L(w(t) - ηg(t)) 上使用梯度下降来更新学习率 η(t)，其中 g(t) 为时间 t 的梯度。
• 一阶方法使用有限差分法估计 f’(η)，通过 ε 微调，更新 η(t+1) = η(t) - α·f’(η(t))。
• 二阶方法使用牛顿法更新 η(t+1) = η(t) - f’(η(t))/f’’(η(t))，通过有限差分法近似二阶导数。
• 该方法每轮迭代需进行五次前向与反向传播：一次用于当前损失，四次用于通过 ε 位移权重估计一阶与二阶导数。
• 该算法在不改变网络架构的前提下，应用于 CIFAR-10 和 CIFAR-100 上的线性回归、逻辑回归与深度神经网络。
• 初始学习率仅设定一次，后续由方法根据局部损失曲率自主调整 η(t)。

实验结果

研究问题

• RQ1 在收敛速度方面，能否证明在训练过程中动态演化的自适应学习率优于固定或预设的学习率？
• RQ2 在一阶与二阶学习率自适应策略在非凸深度学习任务中的性能表现如何比较？
• RQ3 与标准SGD或Adam相比，自适应学习率方法是否能减少过拟合？
• RQ4 有限差分近似误差（ε）对学习率更新的稳定性与收敛性有何影响？
• RQ5 自适应方法最终收敛的学习率能否作为标准优化器（如Adam）的可靠初始化？

主要发现

• 在CIFAR-10和CIFAR-100上，二阶自适应学习率方法的初始收敛速度显著优于固定学习率SGD和Adam，尤其在早期训练阶段。
• 在Boston Housing数据集上，自适应方法比基线SGD更快速降低训练损失，表明其在凸设置下的有效性。
• 自适应方法常将训练损失降至极低水平，但测试损失仍高于基线，表明其存在更高的过拟合风险。
• 在ResNet模型中加入Dropout可缩小泛化差距，表明正则化可缓解自适应方法中的过拟合问题。
• 尽管训练损失较高，测试准确率与标准SGD和Adam相当或略优，表明结合早停策略时仍具备稳健的泛化能力。
• 自适应方法最终收敛的学习率始终接近理论分析建议的最优值（如 η_opt = 1/λ_max），表明其可为超参数搜索提供指导。