[論文レビュー] On the Stability and Convergence of Stochastic Gradient Descent with Momentum.

Ali Ramezani-Kebrya, Ashish Khisti+1 more|arXiv (Cornell University)|Sep 12, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用数 5

ひとこと要約

本稿は、早期モーメンタム（early momentum）という手法を導入し、勾配降下法における一般化誤差と収束性を分析することで、モーメンタム付き確率的勾配降下法（SGD）の理論的保証を提供する。一般および強い凸性を持つ損失関数に対して、一般化誤差と期待勾配ノルムの上界を確立し、実務におけるモーメンタムハイパーパrameter選定の理論的指針を提示する。

ABSTRACT

While momentum-based methods, in conjunction with the stochastic gradient descent, are widely used when training machine learning models, there is little theoretical understanding on the generalization error of such methods. In practice, the momentum parameter is often chosen in a heuristic fashion with little theoretical guidance. In the first part of this paper, for the case of general loss functions, we analyze a modified momentum-based update rule, i.e., the method of early momentum, and develop an upper-bound on the generalization error using the framework of algorithmic stability. Our results show that machine learning models can be trained for multiple epochs of this method while their generalization errors are bounded. We also study the convergence of the method of early momentum by establishing an upper-bound on the expected norm of the gradient. In the second part of the paper, we focus on the case of strongly convex loss functions and the classical heavy-ball momentum update rule. We use the framework of algorithmic stability to provide an upper-bound on the generalization error of the stochastic gradient method with momentum. We also develop an upper-bound on the expected true risk, in terms of the number of training steps, the size of the training set, and the momentum parameter. Experimental evaluations verify the consistency between the numerical results and our theoretical bounds and the effectiveness of the method of early momentum for the case of non-convex loss functions.

研究の動機と目的

• モーメンタムに基づく確率的勾配降下法における一般化誤差の理論的理解の不足を解消すること。
• ヒューリスティックな調整を越えて、実務におけるモーメンタムパラメータ選定の理論的フレームワークを提供すること。
• 一般損失関数に対する早期モーメンタム法の収束性と安定性を分析すること。
• 古典的ヘヴィーボールモーメンタム更新を用いて、強い凸損失関数への分析を拡張すること。
• 訓練ステップ数、データセットサイズ、モーメンタムパラメータを変数とする一般化誤差および期待真のリスクの上界を導出すること。

提案手法

• 非凸設定における安定性と一般化を向上させるために、『早期モーメンタム』と呼ばれる修正されたモーメンタム更新ルールを提案する。
• アルゴリズム的安定性理論を用いて、早期モーメンタム法の一般化誤差に対する上界を導出する。
• 早期モーメンタム法の収束性を分析するため、期待勾配ノルムの上界を確立する。
• 同じアルゴリズム的安定性フレームワークを、強い凸損失関数における古典的ヘヴィーボールモーメンタム更新に適用する。
• 訓練ステップ数、トレーニングデータセットサイズ、モーメンタムパラメータの関数として、期待真のリスクのバインドを導出する。
• 最適化および一般化理論に裏付けられた理論的分析を用いて、モーメンタムダイナミクスと一般化性能の理論的関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 一般損失関数に対して、早期モーメンタム法は複数の訓練エポックにわたり一般化誤差が有界であると保証できるか？
• RQ2 早期モーメンタム法の収束を保証するための、期待勾配ノルムの上界は何か？
• RQ3 アルゴリズム的安定性理論は、強い凸損失関数における古典的ヘヴィーボールモーメンタム更新にどのように適用できるか？
• RQ4 強い凸設定において、モーメンタムパラメータ、訓練ステップ数、期待真のリスクの理論的関係は何か？
• RQ5 非凸最適化シナリオにおける理論的バインドと実験的結果は、どのように比較されるか？

主な発見

• 早期モーメンタム法は、一般損失関数に対して複数エポックにわたり一般化誤差が有界であることを保証し、実務応用における妥当性を理論的に裏付ける。
• 早期モーメンタム法の収束を支持する、期待勾配ノルムの上界が導出された。
• 強い凸損失関数に対して、アルゴリズム的安定性理論を用いて一般化誤差の上界が確立された。
• 期待真のリスクの理論的上界が導出され、訓練ステップ数、データセットサイズ、モーメンタムパラメータに明示的に依存する形となった。
• 実験結果は、理論的バインドと数値的性能の整合性を確認し、非凸設定における早期モーメンタムの有効性を検証した。
• 理論的フレームワークは、ヒューリスティックな調整に依存するのを減らすための根拠あるモーメンタムパラメータ選定の基盤を提供した。