[論文レビュー] Global Convergence and Stability of Stochastic Gradient Descent

Vivak Patel, Shushu Zhang+1 more|arXiv (Cornell University)|Oct 4, 2021

Stochastic Gradient Optimization Techniques参考文献 27被引用数 7

ひとこと要約

本稿は、最小限の仮定の下で確率的勾配降下法（SGD）のグローバル収束性および安定性を確立し、任意の非凸性およびノイズモデルのもとで、SGDが局所最適解にグローバルに収束するか、あるいは発散することを証明する。非凸性とノイズのやや強い連合的条件の下では、反復点が発散しても目的関数が有界のままであることが保証され、実世界の機械学習問題におけるSGDの理論的枠組みを著しく拡張する。

ABSTRACT

In machine learning, stochastic gradient descent (SGD) is widely deployed to train models using highly non-convex objectives with equally complex noise models. Unfortunately, SGD theory often makes restrictive assumptions that fail to capture the non-convexity of real problems, and almost entirely ignore the complex noise models that exist in practice. In this work, we make substantial progress on this shortcoming. First, we establish that SGD's iterates will either globally converge to a stationary point or diverge under nearly arbitrary nonconvexity and noise models. Under a slightly more restrictive assumption on the joint behavior of the non-convexity and noise model that generalizes current assumptions in the literature, we show that the objective function cannot diverge, even if the iterates diverge. As a consequence of our results, SGD can be applied to a greater range of stochastic optimization problems with confidence about its global convergence behavior and stability.

研究の動機と目的

• グローバルリプシッツ連続性や勾配分散の有界性といった制限的な仮定に依存するSGD理論のギャップを埋める。
• フィードフォワードおよびリカレントニューラルネットワークやポアソン回帰を含む実際の機械学習問題において、標準的な仮定が成立しないことを示す。
• 任意の非凸性およびノイズモデルのもとでSGDを分析するための新しい理論的枠組みを構築する。
• 反復点が発散してもSGDがグローバルに収束するか、安定性を保つための条件を確立する。
• 複雑な現実世界の確率的最適化問題に適用可能な統一的な理論的基盤を提供する。

提案手法

• 反復点の挙動を制御するため、停止時刻の列 $\tau_j$ を用いた停止時刻解析を導入する。
• 進行状況を追跡し、勾配ノルムと目的関数値を組み込むためのリャプノフ関数 $L(\theta_k, \theta_{k+1})$ を定義する。
• 非リプシッツ勾配に対応するため、$(L_0, L_1)$-スムーズ性と非一様ステップサイズ則を含む一般化されたスムーズネス仮定を用いる。
• マコフの不等式と期待値の上限を用いて、勾配ノルムが高確率で最終的に消えることを示す。
• 勾配ノルムが軌道に沿ってほとんど確実にゼロに収束することを確立し、局所最適解への収束を示す。
• ヘッシアンとステップサイズ行列 $M_k$ の性質を活用して、反復点の成長を制御し、安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 実際の機械学習問題に一般的に見られる任意の非凸性およびノイズモデルのもとで、SGDはグローバルに収束可能か、あるいは安定性を保てるか？
• RQ2 フィードフォワードネットワークやリカレントニューラルネットワーク、ポアソン回帰のような実際のモデルでは、グローバルリプシッツ連続性や勾配分散の有界性といった標準的仮定が成立するか？
• RQ3 非凸性とノイズのどのような連合的条件のもとで、反復点が発散しても目的関数が有界のままであるか？
• RQ4 分散の有界性やリプシッツ勾配の仮定なしに、SGDのグローバル収束を証明することは可能か？
• RQ5 停止時刻解析とリャプノフ関数を用いて、弱い仮定のもとで収束を確立するにはどうすればよいか？

主な発見

• 任意の非凸性およびノイズモデルのもとで、SGDの反復点は局所最適解にグローバルに収束するか、あるいは発散する。
• 非凸性とノイズのやや強い連合的条件のもとでは、反復点が発散しても目的関数は有界のままである。
• 勾配ノルム $\|\dot{F}(\theta_k)\|_2$ は、軌道に沿ってほとんど確実にゼロに収束し、局所最適解への収束を示唆する。
• 与えられた仮定のもとで、停止時刻 $\tau_j = \infty$ となる確率が1であることを証明し、長期的な安定性を保証する。
• 解析により、フィードフォワードネットワークやポアソン回帰といった標準モデルでは、確率的勾配の分散が有界でないことが示され、一般的な仮定が無効であることが判明する。
• 理論的枠組みは、RNNの学習やニューラルネットワーク、ポアソン回帰など、古典的仮定が成立しない複雑な現実世界の問題に適用可能である。