[論文レビュー] Understanding the unstable convergence of gradient descent

Kwangjun Ahn, Jingzhao Zhang+1 more|arXiv (Cornell University)|Apr 3, 2022

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

この論文は、勾配降下法における不安定な収束現象を調査しており、従来の $2/L$ のしきい値を超えるステップサイズであっても、訓練損失が非単調に減少する現象を扱う。主な原因として、平坦な停留点の欠如とGDダイナミクスの前方不変性を特定し、損失、反復値、鋭さにおける振動的挙動を通じて不安定な収束を特徴づけ、古典的な安定性仮定を超えた深層学習の最適化を理解するための原則的枠組みを提示する。

ABSTRACT

Most existing analyses of (stochastic) gradient descent rely on the condition that for $L$-smooth costs, the step size is less than $2/L$. However, many works have observed that in machine learning applications step sizes often do not fulfill this condition, yet (stochastic) gradient descent still converges, albeit in an unstable manner. We investigate this unstable convergence phenomenon from first principles, and discuss key causes behind it. We also identify its main characteristics, and how they interrelate based on both theory and experiments, offering a principled view toward understanding the phenomenon.

研究の動機と目的

• ステップサイズが古典的な $\eta < 2/L$ の安定性条件を満たさないにもかかわらず、実際の勾配降下法がなぜしばしば不安定に収束するのかを理解すること。
• 特に平坦な停留点の欠如とGDダイナミクスの前方不変性に起因する不安定収束の背後にある要因を同定すること。
• 損失、反復値、鋭さの挙動の観点から、不安定収束の主な特徴を特徴づけること。
• 相対的進捗、方向的滑らかさ、不安定ダイナミクスの間の理論的および実験的関係を確立すること。
• ミニバッチ学習下でも同様の不安定な挙動が継続することを示し、確立された知見を確実に拡張すること。

提案手法

• 勾配ステップごとの期待損失変化を定量化するための相対的進捗比 $\text{RP}(\bm{\theta})$ を導入し、単調な減少を超えた降下挙動の分析を可能にする。
• 方向的滑らかさ $L(\bm{\theta}; \mathbf{v})$ を定義し、方向 $\mathbf{v}$ 沿いの局所的勾配変動の尺度とし、非凸設定における非リプシッツ的挙動の分析に不可欠である。
• SGDにおける理論的関係 $\mathbb{E}[\text{RP}(\bm{\theta})] \approx -1 + \frac{\eta}{2} \cdot \mathbb{E}\left[ \frac{\|g\|^2}{\|\nabla f\|^2} L(\bm{\theta}; \eta g) \right]$ を導出し、期待進捗と方向的滑らかさの関係を結ぶ。
• CIFAR-10でReLUおよび $\tanh$ ネットワークを用いて導出された関係を実験的に検証し、大きなステップサイズ下で損失および鋭さの振動的挙動を確認した。
• 理論的分析と実験を通じて、不安定収束は損失がゼロ付近で振動し、反復値が $2/\eta$ 付近で振動し、鋭さが $2/\eta$ を上回るという特徴を示すことを示した。
• 訓練中に $\text{RP}(\bm{\theta})$、方向的滑らかさ、鋭さの変化をモニタリングすることで、不安定収束を検出するためのフレームワークを提案した。

実験結果

リサーチクエスチョン

• RQ1 ステップサイズが $2/L$ を超えると、勾配降下法でなぜ不安定な収束が生じるのか？
• RQ2 安定収束と不安定収束の領域における損失、反復値、鋭さのダイナミクスの違いは何か？
• RQ3 訓練損失が時間とともに減少する場合でも、SGDにおける期待損失変化が負になることは可能か？
• RQ4 方向的滑らかさはどのようにして不安定収束を可能にするのか？
• RQ5 GDにおける不安定収束の特徴は、ミニバッチを用いたSGDにどのように拡張されるか？

主な発見

• 不安定収束は、ステップサイズ $\eta > 2/L$ であるが、訓練損失が非単調に減少する場合に発生し、古典的降下理論に反する。
• 不安定領域では、相対的進捗比 $\text{RP}(\bm{\theta})$ がゼロの周辺で振動し、全体的な収束にもかかわらず、期待損失変化が必ずしも負ではないことを示している。
• 不安定なGD下での反復値は $2/\eta$ の周辺で振動し、勾配更新における動的バランスを示している。
• 鋭さ（最大ヘッセ固有値）は $2/\eta$ を上回って振動しており、高カーブチャージャの領域を通過していることを示唆している。
• 理論的関係 $\mathbb{E}[\text{RP}(\bm{\theta})] \approx -1 + \frac{\eta}{2} \cdot \mathbb{E}\left[ \frac{\|g\|^2}{\|\nabla f\|^2} L(\bm{\theta}; \eta g) \right]$ は、ReLUおよび $\tanh$ ネットワークの両方で実験的に成立し、方向的滑らかさの役割を裏付けた。
• この現象は活性化関数やバッチ設定にかかわらず頑健であり、特定のアーキテクチャに依存しない、深層学習最適化の根本的性質であることが示された。