[論文レビュー] Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness

V. Vien, Mikael Johansson|arXiv (Cornell University)|Feb 12, 2021

Stochastic Gradient Optimization Techniques参考文献 37被引用数 15

ひとこと要約

この論文は、非滑らかで勾配が急速に増加する凸関数に対する勾配クリッピングを施した確率的（亜）勾配降下法の、初めての有限収束レートを確立した。勾配クリッピングが安定性を向上させ、勾配が有界でない場合でも収束を可能にすることが示された。著者らは、新しいリャプノフ解析を用いて、標準的な仮定の下で弱凸問題に対する最良の既知の収束レートに到達することを証明した。

ABSTRACT

Stochastic gradient algorithms are often unstable when applied to functions that do not have Lipschitz-continuous and/or bounded gradients. Gradient clipping is a simple and effective technique to stabilize the training process for problems that are prone to the exploding gradient problem. Despite its widespread popularity, the convergence properties of the gradient clipping heuristic are poorly understood, especially for stochastic problems. This paper establishes both qualitative and quantitative convergence results of the clipped stochastic (sub)gradient method (SGD) for non-smooth convex functions with rapidly growing subgradients. Our analyses show that clipping enhances the stability of SGD and that the clipped SGD algorithm enjoys finite convergence rates in many cases. We also study the convergence of a clipped method with momentum, which includes clipped SGD as a special case, for weakly convex problems under standard assumptions. With a novel Lyapunov analysis, we show that the proposed method achieves the best-known rate for the considered class of problems, demonstrating the effectiveness of clipped methods also in this regime. Numerical results confirm our theoretical developments.

研究の動機と目的

• 勾配が有界でない、または急速に増加する問題における確率的勾配法の不安定性を解消すること。
• 従来のリプシッツ連続性や滑らかさの仮定を越えて、クリッピング付き確率的（亜）勾配降下法の収束特性を調査すること。
• 非滑らかで勾配が二次関数より速く増加する凸関数に対するクリッピング付きSGDの有限収束レートを確立すること。
• 標準的な仮定の下で、弱凸問題に対するクリッピング付きモーメンタム法の収束を分析すること。
• 勾配クリッピングが、標準的なSGDが失敗する領域でも安定性を向上させ、収束を可能にすることを示すこと。

提案手法

• 更新方向を半径 γk の球にクリッピングすることで、ステップサイズを制御し発散を防ぐ、クリッピング付き確率的（亜）勾配法を提案する。
• 特に弱凸および非滑らか問題に対して収束を確立するため、新規のリャプノフ関数解析を用いる。
• 標準的なクリッピング付きSGDとモーメンタム変種の両方を分析し、モーメンタム版が最良の既知の収束レートを達成することを示す。
• 期待される亜勾配ノルムをバインドし、反復点の挙動を制御するための、プロキシマルに類似た解析フレームワークを導入する。
• 非滑らか性を扱い、収束バウンドを導出するために、モアウのエンvelopeを用いた正則化技術を採用する。
• 目的関数値と勾配ノルムの項を組み合わせたリャプノフ関数の期待減少を分析することで、収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 非滑らか凸関数で亜勾配が有界でない場合でも、勾配クリッピングは確率的勾配降下法の安定性を高められるか？
• RQ2 従来の滑らかさやリプシッツ連続性の仮定が成り立たない場合、クリッピング付きSGDが達成できる収束レートは何か？
• RQ3 弱凸設定において、モーメンタムの導入がクリッピング付き確率的勾配法の収束に与える影響は何か？
• RQ4 緩い正則性条件のもとで、有限収束レートを証明するためのリャプノフ関数を構築できるか？
• RQ5 勾配が二次関数より速く増加する場合、勾配クリッピングは確率的設定でも収束を保証するか？

主な発見

• 非滑らかで勾配が急速に増加する凸関数に対して、クリッピング付き確率的（亜）勾配降下法は、勾配が有界でない場合でも有限収束レートを達成する。
• モーメンタムを組み込んだ本手法は、標準的な仮定の下で弱凸問題に対する最良の既知の収束レートを達成する。
• モアウのエンvelopeにおける期待勾配ノルムをバインドすることで収束を確立する、新規のリャプノフ解析が開発された。
• 収束レートは、亜勾配が有界な集合上で有界であるという最小限の仮定のもとで導出された。これは連続関数に対して成立する。
• 数値結果は理論的予想を確認しており、実際の応用において安定性と収束性の向上が見られた。
• 解析により、クリッピングが発散を防ぎ、リプシッツ連続性や有界勾配がなくても収束を可能にすることが示された。