[论文解读] Escaping Saddle Points Faster with Stochastic Momentum

Jun-Kun Wang, Chi-Heng Lin+1 more|arXiv (Cornell University)|Jun 5, 2021

Stochastic Gradient Optimization Techniques参考文献 57被引用 7

一句话总结

本文首次为非凸优化中的随机动量提供了理论依据，表明其通过增强负曲率方向，加速了从鞍点的逃逸。研究证明，随机重球动量比标准SGD更快收敛至二阶平稳点，当动量参数β接近1时性能最优。

ABSTRACT

Stochastic gradient descent (SGD) with stochastic momentum is popular in nonconvex stochastic optimization and particularly for the training of deep neural networks. In standard SGD, parameters are updated by improving along the path of the gradient at the current iterate on a batch of examples, where the addition of a ``momentum'' term biases the update in the direction of the previous change in parameters. In non-stochastic convex optimization one can show that a momentum adjustment provably reduces convergence time in many settings, yet such results have been elusive in the stochastic and non-convex settings. At the same time, a widely-observed empirical phenomenon is that in training deep networks stochastic momentum appears to significantly improve convergence time, variants of it have flourished in the development of other popular update methods, e.g. ADAM [KB15], AMSGrad [RKK18], etc. Yet theoretical justification for the use of stochastic momentum has remained a significant open question. In this paper we propose an answer: stochastic momentum improves deep network training because it modifies SGD to escape saddle points faster and, consequently, to more quickly find a second order stationary point. Our theoretical results also shed light on the related question of how to choose the ideal momentum parameter--our analysis suggests that $β\in [0,1)$ should be large (close to 1), which comports with empirical findings. We also provide experimental findings that further validate these conclusions.

研究动机与目标

• 为在非凸随机设置下缺乏理论依据的深度学习中，随机动量为何能改善收敛性提供理论解释。
• 确定随机动量相较于标准SGD能更快实现鞍点逃逸的条件。
• 为实际应用中设置动量参数β提供理论指导。
• 证明随机动量通过增强负曲率分量，可更快速地达到二阶平稳点。

提出的方法

• 在对Hessian矩阵和梯度行为施加弱假设的前提下，对非凸优化中的随机重球动量进行理论分析。
• 提出一种动态更新规则，其中动量是过去随机梯度的加权平均，使更新方向偏向负曲率方向。
• 采用时间平均分析方法，表明动量可增强与鞍点处负曲率方向一致的分量，从而实现更快逃逸。
• 采用两阶段分析：首先利用负曲率实现从鞍点的逃逸，然后在Hessian有界和梯度方差有界的条件下收敛至二阶平稳点。
• 以迭代复杂度形式推导收敛速率，表明其对β、梯度方差σ²和问题条件数的依赖关系。
• 将理论边界与先前工作（如Daneshmand等，2018）进行比较，表明对动量和问题参数的依赖关系得到改进。

实验结果

研究问题

• RQ1 为何在缺乏理论基础的情况下，随机动量在深度学习中仍能显著改善收敛性？
• RQ2 在非凸随机优化中，随机动量如何加速从鞍点的逃逸？
• RQ3 为实现更快收敛至二阶平稳点，动量参数β的最优值是多少？
• RQ4 能否在理论上证明随机动量在非凸设置下可超越标准SGD实现更优收敛？
• RQ5 动量机制如何与负曲率方向相互作用，以实现从鞍点的更快逃逸？

主要发现

• 随机动量通过增强负曲率方向的分量，实现更快的鞍点逃逸，这是实现非最优性逃逸的关键。
• 理论分析表明，达到(ε, ε)-二阶平稳点的迭代复杂度为O((1−β)⁻¹ log(1/ε) ε⁻¹⁰)，表明β越大，收敛越快。
• 最优动量参数β应接近1，这与经验发现一致，也解释了Adam等自适应方法的成功。
• 在高动量区域，所提方法在迭代复杂度方面优于先前工作（如Daneshmand等，2018），尤其当(1−β)较小时。
• 方法对梯度方差σ²和Hessian条件数的依赖性得到改善，当β→1时边界更紧。
• 实验结果验证了理论结论，表明在实践中收敛速度更快，且鞍点逃逸能力得到提升。