[論文レビュー] Momentum via Primal Averaging: Theoretical Insights and Learning Rate Schedules for Non-Convex Optimization

Aaron Defazio|arXiv (Cornell University)|Oct 1, 2020

Stochastic Gradient Optimization Techniques参考文献 26被引用数 6

ひとこと要約

本稿は、非凸最適化における勾配降下法に慣性項を加えたSGD+Mの新しいリャプノフ解析を、主双対平均化（PA）再定式化を用いて提示する。これにより、慣性項が収束を加速する正確な条件が明らかになった。学習率の急激な変更が安定性を損なうことが判明し、収束を維持し、訓練損失の急増を避けるための段階的ハイパーパrameterスケジューリングを提案する。

ABSTRACT

Momentum methods are now used pervasively within the machine learning community for training non-convex models such as deep neural networks. Empirically, they out perform traditional stochastic gradient descent (SGD) approaches. In this work we develop a Lyapunov analysis of SGD with momentum (SGD+M), by utilizing a equivalent rewriting of the method known as the stochastic primal averaging (SPA) form. This analysis is much tighter than previous theory in the non-convex case, and due to this we are able to give precise insights into when SGD+M may out-perform SGD, and what hyper-parameter schedules will work and why.

研究の動機と目的

• 従来の研究よりも、非凸設定におけるSGD+Mのより緊密で洞察に富んだリャプノフ解析を提供すること。
• 特に初期学習段階において、なぜ慣性項が最適化を加速するのかを説明すること。
• 慣性法における標準的な急激な学習率スケジュールの実践的欠陥を特定すること。
• 安定性と性能を維持する新しい段階的ハイパーパrameterスケジューリング戦略を提案すること。

提案手法

• SGD+Mを、補助変数 $ z_k $ を中心とする確率的主双対平均化（SPA）形式に再定式化する。
• SPA形式に対してリャプノフ関数解析を適用し、$ f(z_k) - f^* $ と慣性関連項の変化を追跡する。
• リャプノフ関数の増分に、$ \|x_k - x_{k-1}\|^2 $、$ \|g_k\|^2 $、勾配ノイズ $ \sigma^2 $ に依存する項を含むバウンドを導出する。
• SPA形式と標準的なSGD+Mとの等価性を用いて、慣性項が有益または有害である条件を導出する。
• ステップサイズ $ \alpha_k $ と慣性係数 $ \beta_k $ の変化が、リャプノフ関数の安定性に与える影響を分析し、急激な変更がリャプノフ関数を不安定化させることを示す。
• 各ステップで $ \eta $ と $ c $ を小さな要因（例：1.0005）で幾何的に調整する幾何的で段階的な学習率および慣性係数スケジュールを提案する。

実験結果

リサーチクエスチョン

• RQ1 非凸問題において、SGD+Mにおける慣性項が標準的なSGDよりも収束を加速する条件は何か？
• RQ2 なぜSGD+Mにおける標準的な段階的学習率スケジュールは、実際の訓練で損失の急増を引き起こすのか？
• RQ3 学習率および慣性係数パラメータの変更が、主双対平均化フレームワークにおけるリャプノフ関数の安定性に与える影響は何か？
• RQ4 主双対平均化形式において、慣性ダイナミクスを不安定化させることなく、安定な収束を保証するハイパーパrameterスケジュールは何か？
• RQ5 主双対平均化形式は、従来のSGD+M解析よりも、慣性法の挙動に関するより深い理論的洞察を提供できるか？

主な発見

• 主双対平均化形式におけるリャプノフ解析により、慣性項が $ \|x_k - x_{k-1}\|^2 $ に依存する追加項を導入することが明らかになった。この項は、ハイパーパramータの急激な変更によって不安定化する可能性がある。
• 学習率の急激な低下により、リャプノフ関数のステップにおける $ \|x_k - x_{k-1}\|^2 $ 項の係数が正の値をとるようになり、不安定化と訓練損失の急増を引き起こす。
• 各ステップで $ \eta $ と $ c $ を幾何的に小さな要因で調整する段階的スケジュールは、$ \|x_k - x_{k-1}\|^2 $ 項の係数を負のままに保ち、不安定化を回避する。
• $ c = 0.1 $ および $ \eta L = 0.1 $ の場合、連続するステップ間での $ \eta $ の乗法的変化の最大許容値は約 $ r = 1.01 $ であり、これにより安定性が保証される。
• CIFAR-10およびImageNetにおける実験結果から、段階的スケジュールは訓練損失の急増を回避し、標準的なスケジュールと比較して最終的なテスト精度を維持することが確認された。
• 分析により、$ \alpha $（ステップサイズ）ではなく $ \beta $（慣性係数）を減少させることの方がより安定な戦略であることが示されたが、これは段階的に実行される場合に限る。