[论文解读] Continuous Time Analysis of Momentum Methods

Nikola Kovachki, Andrew M. Stuart|arXiv (Cornell University)|Jun 10, 2019

Stochastic Gradient Optimization Techniques被引用 13

一句话总结

本文对重球法和Nesterov加速梯度等基于动量的优化方法进行了连续时间分析，表明它们近似于一个带有动量相关修正项的二阶常微分方程（ODE）。研究揭示，动量通过在修改后的、凸化的损失函数上形成不变流形来稳定训练过程，从而解释了其在固定学习率的非渐近区域中相较于标准梯度下降的实用优势。

ABSTRACT

Gradient descent-based optimization methods underpin the parameter training of neural networks, and hence comprise a significant component in the impressive test results found in a number of applications. Introducing stochasticity is key to their success in practical problems, and there is some understanding of the role of stochastic gradient descent in this context. Momentum modifications of gradient descent such as Polyak's Heavy Ball method (HB) and Nesterov's method of accelerated gradients (NAG), are also widely adopted. In this work our focus is on understanding the role of momentum in the training of neural networks, concentrating on the common situation in which the momentum contribution is fixed at each step of the algorithm. To expose the ideas simply we work in the deterministic setting. Our approach is to derive continuous time approximations of the discrete algorithms; these continuous time approximations provide insights into the mechanisms at play within the discrete algorithms. We prove three such approximations. Firstly we show that standard implementations of fixed momentum methods approximate a time-rescaled gradient descent flow, asymptotically as the learning rate shrinks to zero; this result does not distinguish momentum methods from pure gradient descent, in the limit of vanishing learning rate. We then proceed to prove two results aimed at understanding the observed practical advantages of fixed momentum methods over gradient descent. We achieve this by proving approximations to continuous time limits in which the small but fixed learning rate appears as a parameter. Furthermore in a third result we show that the momentum methods admit an exponentially attractive invariant manifold on which the dynamics reduces, approximately, to a gradient flow with respect to a modified loss function.

研究动机与目标

• 理解在小但非零学习率的非渐近设置下，固定动量优化方法相较于标准梯度下降的实际优势。
• 利用数值分析中的修正方程技术，将离散动量算法的连续时间近似形式化，将学习率视为小参数。
• 识别解释动量稳定性和鲁棒性效应的动力学机制，如二阶修正项和不变流形。
• 将动量的物理直觉形式化为阻尼二阶系统，并将其与深度学习中的优化行为联系起来。
• 证明动量方法实际上在优化一个扰动后的、凸化的原始损失函数，其鲁棒性超越了瞬态稳定性的范畴。

提出的方法

• 使用数值分析中的修正方程技术，将离散动量方法的连续时间极限形式化，将学习率视为小参数。
• 证明在学习率趋于零的极限下，固定动量方法近似于时间缩放的梯度流，此时其与标准梯度下降无本质区别。
• 建立动量引入与学习率成正比的二阶时间导数修正项，解释其在瞬态阶段的稳定性作用。
• 识别出一个指数吸引的不变流形，在该流形上动力学退化为在修改后损失函数 Φ + O(h) 上的梯度流，其中 h 为学习率。
• 利用压缩映射论证和流图复合方法，严格分析连续时间近似的收敛性与稳定性。
• 应用平均法与流分解技术，将快速（阻尼）与慢速（梯度）动力学分离，从而实现对长期行为的分析。

实验结果

研究问题

• RQ1 在固定、小的学习率的非渐近区域中，动量方法与标准梯度下降有何不同？
• RQ2 当学习率较小但非零时，固定动量方法近似于何种连续时间动力系统？
• RQ3 在动量方法的连续时间近似中，二阶修正项起什么作用？
• RQ4 动量动力学是否具有一个低维不变流形，可简化优化过程？
• RQ5 在不变流形上修改后的损失函数如何解释动量方法的鲁棒性与泛化性能？

主要发现

• 在学习率趋于零的极限下，固定动量方法近似于时间缩放的梯度流，与标准梯度下降在渐近意义上无差异。
• 在非渐近区域中，动量引入与学习率成正比的二阶修正项，从而稳定优化的瞬态阶段。
• 动量方法的动力学被吸引至一个指数稳定的不变流形，在该流形上系统表现为在修改后损失函数 Φ + O(h) 上的梯度流。
• 损失函数的扰动与学习率成正比，可使损失曲面凸化，从而解释其鲁棒性超越瞬态稳定性的原因。
• 在不变流形上的修改后损失函数为泛化性能的提升提供了机制，因其可平滑尖锐极小值并降低对初始条件的敏感性。
• 连续时间分析通过将其与稳定且凸化的优化路径联系起来，严格解释了动量在深度学习中经验成功的根源。