[論文レビュー] Continuous Time Analysis of Momentum Methods

Nikola Kovachki, Andrew M. Stuart|arXiv (Cornell University)|Jun 10, 2019

Stochastic Gradient Optimization Techniques被引用数 13

ひとこと要約

この論文は、Heavy Ball や Nesterov の加速勾配のようなモーメンタムベースの最適化手法の連続時間解析を提供し、それらが学習率に依存する補正項を伴う2階微分方程式に近似することを示している。モーメンタムが最適化を安定化させる仕組みは、修正された凸化された損失関数上での最適化が行われる不変多様体を形成することに起因し、固定学習率の非漸近的状態において、標準的勾配降下法よりも実用的に優れていることを説明している。

ABSTRACT

Gradient descent-based optimization methods underpin the parameter training of neural networks, and hence comprise a significant component in the impressive test results found in a number of applications. Introducing stochasticity is key to their success in practical problems, and there is some understanding of the role of stochastic gradient descent in this context. Momentum modifications of gradient descent such as Polyak's Heavy Ball method (HB) and Nesterov's method of accelerated gradients (NAG), are also widely adopted. In this work our focus is on understanding the role of momentum in the training of neural networks, concentrating on the common situation in which the momentum contribution is fixed at each step of the algorithm. To expose the ideas simply we work in the deterministic setting. Our approach is to derive continuous time approximations of the discrete algorithms; these continuous time approximations provide insights into the mechanisms at play within the discrete algorithms. We prove three such approximations. Firstly we show that standard implementations of fixed momentum methods approximate a time-rescaled gradient descent flow, asymptotically as the learning rate shrinks to zero; this result does not distinguish momentum methods from pure gradient descent, in the limit of vanishing learning rate. We then proceed to prove two results aimed at understanding the observed practical advantages of fixed momentum methods over gradient descent. We achieve this by proving approximations to continuous time limits in which the small but fixed learning rate appears as a parameter. Furthermore in a third result we show that the momentum methods admit an exponentially attractive invariant manifold on which the dynamics reduces, approximately, to a gradient flow with respect to a modified loss function.

研究の動機と目的

• 固定モーメンタム最適化手法が、小さながゼロでない学習率を用いる非漸近的設定において、標準的勾配降下法に比べて実用的に優れている理由を理解すること。
• 学習率を小さなパラメータとみなして、数値解析における修正方程式解析を用いて、離散的モーメンタムアルゴリズムの連続時間近似を導出すること。
• 2階微分補正項や不変多様体といった動的メカニズムを同定し、モーメンタムが安定化および耐性を高めるメカニズムを説明すること。
• モーメンタムを減衰する2階系系としての物理的直観を形式化し、深層学習における最適化行動と結びつけること。
• モーメンタム手法が元の損失関数の摂動版で効果的に最適化していること、すなわち元の損失関数を凸化させたもので、一時的な安定化を超えた耐性向上を説明すること。

提案手法

• 学習率を小さなパラメータとみなして、数値解析における修正方程式技法を用いて、離散的モーメンタム手法の連続時間極限を導出すること。
• 学習率がゼロに近づく極限において、固定モーメンタム手法が時間スケーリングされた勾配フローに近似することを証明し、この状態では標準的勾配降下法と差がないことを示すこと。
• モーメンタムが学習率に比例する2階微分時間導関数補正項を導入することを示し、最適化の一時的安定化を説明すること。
• 動的システムが修正された損失関数 Φ + O(h) における勾配フローに還元される、指数的安定な不変多様体が存在することを同定すること。ここで h は学習率である。
• 収縮写像の議論とフローマップの合成を用いて、連続時間近似の収束性と安定性を厳密に分析すること。
• 平均化法とフロー分解を適用して、速い（減衰）と遅い（勾配）のダイナミクスを分離し、長期的挙動の解析を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 固定学習率で小さな値をとる非漸近的状態において、モーメンタム手法は標準的勾配降下法とどのように異なるか？
• RQ2 学習率が小さいがゼロでない場合、固定モーメンタム手法はどの連続時間力学系に近似するか？
• RQ3 連続時間近似におけるモーメンタム手法の2階微分補正項が果たす役割は何か？
• RQ4 モーメンタムダイナミクスは、最適化を単純化する低次元の不変多様体を有するか？
• RQ5 不変多様体上での修正損失関数は、モーメンタム手法の耐性および汎化性能をどのように説明するか？

主な発見

• 固定モーメンタム手法は、学習率がゼロに近づく極限において、時間スケーリングされた勾配フローに近似するが、漸近的優位性は標準的勾配降下法と差がない。
• 非漸近的状態では、モーメンタムが学習率に比例する2階微分補正項を導入し、最適化の一時的安定化を実現する。
• モーメンタム手法のダイナミクスは、指数的安定な不変多様体に引き寄せられ、その上では修正損失関数 Φ + O(h) における勾配フローとして振る舞う。
• 損失関数への摂動は学習率に比例し、損失関数の地形を凸化させることで、一時的安定化を超えた耐性向上を説明できる。
• 不変多様体上での修正損失関数は、鋭い極小値をなめらかにし、初期条件への感度を低下させるため、一般化性能の向上をもたらすメカニズムを提供する。
• 連続時間解析により、深層学習におけるモーメンタムの実験的成功を、安定で凸化された最適化経路と結びつける厳密な根拠が得られた。