[論文レビュー] Stochastic Gradient Descent on Nonconvex Functions with General Noise Models

Vivak Patel, Shushu Zhang|arXiv (Cornell University)|Apr 1, 2021

Stochastic Gradient Optimization Techniques参考文献 6被引用数 5

ひとこと要約

本稿は、一般のノイズモデルを有する広範な非凸関数クラスに対して、確率的勾配降下法（SGD）がほとんど確実に定常点に収束することを確立する。SGDは、ほとんど確実に無限大に発散するか、定常点に収束する。反復列が有界のままであれば、勾配ノルムは確率的におよび期待値においてゼロに収束し、やや強い Hölder 連続性およびノイズ制御の仮定のもとで成立する。

ABSTRACT

Stochastic Gradient Descent (SGD) is a widely deployed optimization procedure throughout data-driven and simulation-driven disciplines, which has drawn a substantial interest in understanding its global behavior across a broad class of nonconvex problems and noise models. Recent analyses of SGD have made noteworthy progress in this direction, and these analyses have innovated important and insightful new strategies for understanding SGD. However, these analyses often have imposed certain restrictions (e.g., convexity, global Lipschitz continuity, uniform Holder continuity, expected smoothness, etc.) that leave room for innovation. In this work, we address this gap by proving that, for a rather general class of nonconvex functions and noise models, SGD's iterates either diverge to infinity or converge to a stationary point with probability one. By further restricting to globally Holder continuous functions and the expected smoothness noise model, we prove that -- regardless of whether the iterates diverge or remain finite -- the norm of the gradient function evaluated at SGD's iterates converges to zero with probability one and in expectation. As a result of our work, we broaden the scope of nonconvex problems and noise models to which SGD can be applied with rigorous guarantees of its global behavior.

研究の動機と目的

• 凸および強い滑らかさを持つ設定を超えて、より広範な非凸関数クラスと一般のノイズモデルに対して SGD の収束保証を拡張すること。
• 目的関数の勾配に対してグローバルリプシッツ連続性や一様 Hölder 連続性といった制限の厳しい仮定を緩和すること。
• ノイズの分散が勾配ノルムや関数値に従って増加する可能性がある状況を含む、最小限のノイズモデル制約のもとで SGD を分析すること。
• 反復列が有界のままであれば、弱い正則性条件のもとでも勾配ノルムがほとんど確実にゼロに収束することを確立すること。
• Lei ら（2019）およびPatel（2020）の先行研究を統一的かつ一般化する、最小限の仮定のもとでの単一の理論的枠組みを構築すること。

提案手法

• 真の勾配 ∇F(θ) の局所的 α-Hölder 連続性を用いて、非凸目的関数における SGD の分析の一般枠組みを導入する。
• E[∥∇f(θ,X)∥²] が θ の任意の非負の上半連続関数によって制御されるノイズモデルに依存する。
• マルティンゲール差分列とスーパーmartingale 論法を用いて、目的関数および勾配ノルムの時間発展を分析する。
• Borel-Cantelli の補題およびほとんど確実収束の技法を適用し、勾配ノルムが任意の δ > 0 よりも小さく保たれることを示す。
• Hölder の不等式と目的関数の下界性から導かれるモーメントバウンドを用いて、勾配ノルム系列の一様可積分性を確立する。
• L² で有界であることと、勾配ノルムのほとんど確実収束を組み合わせることで、L¹ 収束が得られることを活用する。

実験結果

リサーチクエスチョン

• RQ1 任意のノイズモデルを有する非凸目的関数に対して、SGD がほとんど確実に定常点に収束する一般条件は何か？
• RQ2 真の勾配のグローバルリプシッツ連続性を仮定しないで、勾配ノルムのゼロへの収束を保証できるか？
• RQ3 ノイズの分散が勾配ノルムや関数値に従って増加する場合、SGD の収束挙動はどのように変化するか？
• RQ4 学習率が行列値である場合に、結果を拡張できるか、かつ収束保証を維持できるか？
• RQ5 反復列が有界のままであれば、期待勾配ノルムがゼロに収束するための条件は何か？

主な発見

• 下界が存在する非凸目的関数で、勾配が局所的 α-Hölder 連続である場合、SGD はほとんど確実に無限大に発散するか、定常点に収束する。
• 反復列が有界のままであれば、真の勾配 ∥∇F(θₖ)∥₂ はほとんど確実にゼロに収束する。
• 同じ条件下で、勾配ノルム ∥∇F(θₖ)∥₂ の期待値は期待値においてゼロに収束する。
• E[∥∇f(θ,X)∥²] が任意の上半連続関数によって制御される一般ノイズモデルのもとで収束結果が成立する。
• Lei ら（2019）およびPatel（2020）の先行研究で用いられたグローバルリプシッツ連続性および一様 Hölder 連続性の仮定を緩和している。
• 証明により、勾配ノルム系列の一様可積分性が確立され、ほとんど確実収束から L¹ 収束が得られる。