[論文レビュー] Escaping Saddle Points Faster with Stochastic Momentum

Jun-Kun Wang, Chi-Heng Lin+1 more|arXiv (Cornell University)|Jun 5, 2021

Stochastic Gradient Optimization Techniques参考文献 57被引用数 7

ひとこと要約

この論文は、非凸最適化における確率的モーメンタムの理論的裏付けを初めて提供し、負の曲率方向の増幅によって鞍点からの脱出を加速することを示している。標準的なSGDと比較して、確率的ヘヴィボールモーメンタムが2次停留点への収束をより速く行うことを証明しており、モーメンタムパラメータβが1に近い場合に最適な性能を示す。

ABSTRACT

Stochastic gradient descent (SGD) with stochastic momentum is popular in nonconvex stochastic optimization and particularly for the training of deep neural networks. In standard SGD, parameters are updated by improving along the path of the gradient at the current iterate on a batch of examples, where the addition of a ``momentum'' term biases the update in the direction of the previous change in parameters. In non-stochastic convex optimization one can show that a momentum adjustment provably reduces convergence time in many settings, yet such results have been elusive in the stochastic and non-convex settings. At the same time, a widely-observed empirical phenomenon is that in training deep networks stochastic momentum appears to significantly improve convergence time, variants of it have flourished in the development of other popular update methods, e.g. ADAM [KB15], AMSGrad [RKK18], etc. Yet theoretical justification for the use of stochastic momentum has remained a significant open question. In this paper we propose an answer: stochastic momentum improves deep network training because it modifies SGD to escape saddle points faster and, consequently, to more quickly find a second order stationary point. Our theoretical results also shed light on the related question of how to choose the ideal momentum parameter--our analysis suggests that $β\in [0,1)$ should be large (close to 1), which comports with empirical findings. We also provide experimental findings that further validate these conclusions.

研究の動機と目的

• 深層学習における収束の改善に寄与するが、非凸確率的設定では正当化が欠けている確率的モーメンタムの理論的説明を提供すること。
• 標準的なSGDと比較して、確率的モーメンタムが鞍点からの脱出をどれほど速くするかを特定する条件を確立すること。
• 実務においてモーメンタムパラメータβを設定するための理論的指針を導出すること。
• 確率的モーメンタムが、負の曲率成分を増幅させることで、2次停留点への到達をより速くすることを示すこと。

提案手法

• ヘッセ行列と勾配の挙動に関するやや弱い仮定の下で、非凸最適化における確率的ヘヴィボールモーメンタムの理論的分析を提案する。
• モーメンタムを過去の確率的勾配の重み付き平均として定義する動的更新ルールを導入し、更新を負の曲率方向に偏らせる。
• 時間平均解析を用いて、鞍点における負の曲率方向に沿った成分がモーメンタムによって増幅されることを示し、これによりより速い脱出が可能になることを示す。
• 2段階の解析を採用する：まず負の曲率を用いて鞍点から脱出し、次に有界なヘッセ行列と勾配分散の下で2次停留点への収束を達成する。
• 反復複雑度の観点から収束レートを導出し、β、勾配分散σ²、問題の条件数に依存することを示す。
• 先行研究（例：Daneshmand et al., 2018）と理論的境界を比較し、モーメンタムおよび問題パラメータに依存する部分で改善された依存関係を示している。

実験結果

リサーチクエスチョン

• RQ1 非凸確率的設定において理論的根拠が欠けているにもかかわらず、なぜ確率的モーメンタムが深層学習における収束を顕著に改善するのか？
• RQ2 非凸確率的最適化において、確率的モーメンタムはどのようにして鞍点からの脱出を加速するのか？
• RQ3 2次停留点への収束をより速くするために、モーメンタムパラメータβの最適値は何か？
• RQ4 非凸設定において、確率的モーメンタムが標準的なSGDを上回る収束を理論的に示せるか？
• RQ5 モーメンタム機構は負の曲率方向とどのように作用し合い、鞍点からの脱出をより速く可能にするのか？

主な発見

• 確率的モーメンタムは、非最適性からの脱出に重要な負の曲率方向の成分を増幅させることで、鞍点からの脱出をより速く可能にする。
• 理論的解析により、(ε, ε)-2次停留点に到達する反復複雑度はO((1−β)⁻¹ log(1/ε) ε⁻¹⁰)であることが示され、βが大きいほど収束が速いことがわかる。
• 最適なモーメンタムパラメータβは1に近いべきであり、これは実験的結果と整合しており、Adamやその他の適応的手法の成功を説明する。
• 高モーメンタム領域では、(1−β)が小さい場合に特に顕著に、先行研究（例：Daneshmand et al., 2018）と比較して反復複雑度の観点で優れている。
• 勾配分散σ²およびヘッセ行列の条件数に依存する部分が改善され、β→1のときにはより緊密な境界が得られる。
• 実験結果は理論的主張を裏付け、実際の応用において収束が速く、鞍点からの脱出性能が向上していることを示している。