[论文解读] A Diffusion Approximation Theory of Momentum SGD in Nonconvex Optimization

Tianyi Liu, Zhehui Chen+2 more|arXiv (Cornell University)|Feb 14, 2018

Stochastic Gradient Optimization Techniques参考文献 38被引用 4

一句话总结

本文为非凸优化中的动量随机梯度下降（MSGD）建立了扩散近似理论，表明动量通过增强探索能力加速了从严格鞍点的逃逸，但在未进行学习率或动量退火的情况下，会阻碍在局部极小值附近的收敛。分析表明，当学习率较小时，MSGD的行为类似于有效学习率更大的VSGD，解释了其在深度学习中的经验成功。

ABSTRACT

Momentum Stochastic Gradient Descent (MSGD) algorithm has been widely applied to many nonconvex optimization problems in machine learning, e.g., training deep neural networks, variational Bayesian inference, and etc. Despite its empirical success, there is still a lack of theoretical understanding of convergence properties of MSGD. To fill this gap, we propose to analyze the algorithmic behavior of MSGD by diffusion approximations for nonconvex optimization problems with strict saddle points and isolated local optima. Our study shows that the momentum helps escape from saddle points, but hurts the convergence within the neighborhood of optima (if without the step size annealing or momentum annealing). Our theoretical discovery partially corroborates the empirical success of MSGD in training deep neural networks.

研究动机与目标

• 为解决动量随机梯度下降（MSGD）在非凸优化中缺乏理论理解的问题，特别是其在训练深度神经网络中的经验成功。
• 分析动量在具有孤立极小值和严格鞍点的非凸景观中，对逃离严格鞍点和收敛至局部极小值的作用。
• 建立MSGD行为与实际性能之间的理论联系，特别是其避免尖锐局部极小值的能力。
• 通过引入扩散近似和弱收敛至随机微分方程（SDE），将现有VSGD和MSGD的收敛结果扩展至非凸问题。
• 解释为何MSGD在相同超参数下可使用比VSGD更大的有效学习率，同时保持泛化性能，尽管其在极小值附近收敛存在理论限制。

提出的方法

• 通过弱收敛的连续时间扩散近似，将离散的MSGD轨迹建模为极限状态下步长→0的随机微分方程（SDE）。
• 应用插值技术将离散的MSGD迭代映射为连续时间过程，使在非凸条件下能够对ODE和SDE进行弱收敛分析。
• 通过非平稳区域中梯度幅值主导随机方差的OED近似分析全局动态，表明动量使下降速度提高$\frac{1}{1-\mu}$倍。
• 通过归一化误差序列研究平稳点附近的局部行为，表明连续插值弱收敛至具有非退化扩散系数的SDE解。
• 利用严格鞍点性质和孤立局部极小值假设，刻画算法在逃逸和收敛两种情形下的行为。
• 通过使用主角等旋转对称度量，将分析扩展至连通局部极小值，实现有界误差表征。

实验结果

研究问题

• RQ1 MSGD中的动量在非凸优化中如何影响从严格鞍点的逃逸？
• RQ2 为何MSGD在实践中优于VSGD，尽管其理论收敛保证相似？
• RQ3 当学习率未退火时，动量对收敛至局部极小值的影响是什么，尤其是在此类区域？
• RQ4 在相同超参数下，MSGD的有效步长与VSGD相比如何？其性能差距的成因是什么？
• RQ5 扩散近似框架能否解释为何MSGD在深度学习中倾向于收敛至更平坦、泛化性能更好的极小值？

主要发现

• 在非平稳区域，MSGD中的动量通过增强下降方向的探索，加速了从严格鞍点的逃逸，有效使每步进展提高$\frac{1}{1-\mu}$倍。
• 在局部极小值附近，当随机梯度方差占主导时，动量会降低收敛速度，除非对学习率或动量进行退火，表明加速与稳定性的权衡。
• 当学习率$\eta$和动量$\mu$固定时，MSGD在渐近意义上等价于有效学习率$\frac{\eta}{1-\mu}$的VSGD，解释了其可使用更大有效学习率的原因。
• MSGD的归一化误差序列弱收敛至平稳点附近SDE的解，从而能够表征算法的局部行为和噪声诱导的探索。
• 由于动量引入的更高方差，MSGD倾向于避免尖锐局部极小值，从而促进从小吸引盆中逃逸——与泛化性能的实证观察一致。
• 该理论解释了为何MSGD在相同有效步长下可实现比VSGD更好的泛化性能，因为其动量带来的额外噪声使其能更有效地探索更平坦的极小值。