[論文レビュー] A Diffusion Approximation Theory of Momentum SGD in Nonconvex Optimization

Tianyi Liu, Zhehui Chen+2 more|arXiv (Cornell University)|Feb 14, 2018

Stochastic Gradient Optimization Techniques参考文献 38被引用数 4

ひとこと要約

この論文は非凸最適化におけるモーメンタム確率的勾配降下法（MSGD）の拡散近似理論を構築し、モーメンタムが厳密な鞍点からの脱出を促進するが、ステップサイズやモーメンタムの段階的調整がなければ局所最適解付近での収束を妨げるという事実を示している。解析により、小さなステップサイズにおけるMSGDは、より大きな有効ステップサイズを持つVSGDに類似した挙動を示すことが判明し、深層学習におけるその実用的成功を説明している。

ABSTRACT

Momentum Stochastic Gradient Descent (MSGD) algorithm has been widely applied to many nonconvex optimization problems in machine learning, e.g., training deep neural networks, variational Bayesian inference, and etc. Despite its empirical success, there is still a lack of theoretical understanding of convergence properties of MSGD. To fill this gap, we propose to analyze the algorithmic behavior of MSGD by diffusion approximations for nonconvex optimization problems with strict saddle points and isolated local optima. Our study shows that the momentum helps escape from saddle points, but hurts the convergence within the neighborhood of optima (if without the step size annealing or momentum annealing). Our theoretical discovery partially corroborates the empirical success of MSGD in training deep neural networks.

研究の動機と目的

• 非凸最適化におけるモーメンタム確率的勾配降下法（MSGD）の理論的理解の不足、特に深層ニューラルネットワークの学習におけるその実用的成果を解明すること。
• 非凸な形状における孤立した最適解と厳密な鞍点を有する環境下で、モーメンタムが厳密な鞍点からの脱出と局所最適解への収束に果たす役割を分析すること。
• MSGDの挙動と実際の性能の間の理論的リンクを確立し、特に鋭い局所最適解を避ける傾向を説明すること。
• 非凸問題に対して拡散近似と弱収束を用いて、既存のVSGDおよびMSGDの収束結果を拡張すること。
• 理論的制限にもかかわらず、MSGDがVSGDよりも大きな有効ステップサイズを使用しながら一般化性能を維持できる理由を説明すること。

提案手法

• ステップサイズ → 0 の極限において、離散的MSGD軌道を連続時間の拡散近似によりモデル化し、弱収束を用いてアルゴリズムを確率的微分方程式（SDE）に変換する。
• 離散的MSGD反復を連続時間過程にマッピングするための補間技術を適用し、非凸性下でODEおよびSDEへの弱収束解析を可能にする。
• 勾配の大きさが確率的ばらつきを支配する非定常領域において、ODE近似を用いてグローバルダイナミクスを分析し、モーメンタムが $\frac{1}{1-\mu}$ の要因で降下速度を向上させることを示す。
• 定常点付近での局所的挙動を、正規化された誤差列を用いて分析し、連続的補間が非退化な拡散係数を持つSDEの解に弱収束することを示す。
• 厳密な鞍点性質と孤立した局所最適解の仮定を活用して、アルゴリズムの脱出および収束の両領域における挙動を特徴付ける。
• 回転対称的な度量（例えば低ランク行列問題における主成分角）を用いて、連結した局所最適解へと分析を拡張し、誤差の有界性を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 MSGDにおけるモーメンタムは、非凸最適化において厳密な鞍点からの脱出にどのように影響するか？
• RQ2 ステップサイズの段階的調整がなければ、理論的収束保証が類似しているにもかかわらず、なぜMSGDは実用的にVSGDを上回るのか？
• RQ3 ステップサイズが段階的に調整されない場合、モーメンタムは局所最適解付近での収束にどのような影響を及ぼすか？
• RQ4 同じハイパーパrameterを用いた場合、MSGDの有効ステップサイズはVSGDと比べてどのように異なるのか？また、観察された性能差の背後には何があるのか？
• RQ5 拡散近似フレームワークは、なぜMSGDが深層学習においてフラットで一般化性能の良い最適解に収束しやすいのかを説明できるか？

主な発見

• MSGDにおけるモーメンタムは、非定常領域において降下方向の探索を強化することで、厳密な鞍点からの脱出を加速し、ステップごとの進行を $\frac{1}{1-\mu}$ 倍に効果的に向上させる。
• 局所最適解付近では確率的勾配のばらつきが支配的になるため、ステップサイズまたはモーメンタムの段階的調整がなければ、モーメンタムは収束性能を劣化させる。これは、加速と安定性のトレードオフを示している。
• ステップサイズ $\eta$ とモーメンタム $\mu$ を用いたMSGDは、漸近的に有効ステップサイズ $\frac{\eta}{1-\mu}$ を持つVSGDに類似した挙動を示す。これは、MSGDがより大きな有効学習率を使用できる理由を説明している。
• MSGDの正規化誤差列は、定常点の周囲でSDEの解に弱収束する。これにより、アルゴリズムの局所的挙動とノイズ誘発探索の特徴付けが可能になる。
• MSGDは、モーメンタムによる高いばらつきにより、鋭い局所最適解の小さな吸引域から脱出を促進するため、鋭い最適解を避ける傾向がある。これは、一般化に関する実験的観察と整合的である。
• 理論により、MSGDが同じ有効ステップサイズでもVSGDよりも一般化性能に優れる理由が説明される。それは、モーメンタムによるノイズの増加のおかげで、フラットな最適解をより効果的に探索できるからである。