[論文レビュー] Phase diagram of Stochastic Gradient Descent in high-dimensional two-layer neural networks

Rodrigo Veiga, Ludovic Stephan+3 more|arXiv (Cornell University)|Feb 1, 2022

Stochastic Gradient Optimization Techniques被引用数 10

ひとこと要約

本稿は、一般化された学習率、隠れ層幅、入力次元のスケーリングを想定した高次元2層ニューラルネットワークにおける確率的勾配降下法（SGD）のフェーズ図を、学習率、隠れ層幅、入力次元のスケーリングの相互作用に応じて、決定論的ODE（常微分方程式）を厳密に導出することで確立した。これにより、完全な学習、不完全な学習、学習不能の3つの明確な学習領域が特定され、過パラメータ化されたネットワークや狭いネットワークに対する、平均場理論と古典的統計力学的手法の間にある長年の理論的ギャップが解消された。

ABSTRACT

Despite the non-convex optimization landscape, over-parametrized shallow networks are able to achieve global convergence under gradient descent. The picture can be radically different for narrow networks, which tend to get stuck in badly-generalizing local minima. Here we investigate the cross-over between these two regimes in the high-dimensional setting, and in particular investigate the connection between the so-called mean-field/hydrodynamic regime and the seminal approach of Saad & Solla. Focusing on the case of Gaussian data, we study the interplay between the learning rate, the time scale, and the number of hidden units in the high-dimensional dynamics of stochastic gradient descent (SGD). Our work builds on a deterministic description of SGD in high-dimensions from statistical physics, which we extend and for which we provide rigorous convergence rates.

研究の動機と目的

• 平均場／流体力学的SGD解析と、狭い高次元ネットワークに対する古典的Saad & Sollaフレームワークの間の理論的ギャップを埋める。
• 元のスケーリング領域を超えて、一般化された学習率と幅のスケーリングを許容するSGDダイナミクスの決定論的ODE近似を厳密に拡張する。
• 高次元設定における学習性能の全範囲、すなわち完全な学習、残差誤差、学習不能を特徴付ける。
• ODE近似の非漸近的収束保証を提供し、学習ダイナミクスの正確な解析を可能にする。
• 入力次元に対して学習率と隠れユニット数のスケーリング指数に応じて、学習結果を分類するフェーズ図を確立する。

提案手法

• 統計力学的手法を用いて、高次元設定におけるネットワーク重みの時間発展を記述する決定論的ODEのセットを導出する。
• 元の1/dスケーリングを超えて、学習率（γ ∝ d⁻ᵟ）と隠れ層幅（p ∝ dᵏ）の一般化されたスケーリングに対する、先行研究の収束証明を拡張する。
• 異なる領域におけるダイナミクスを統一的かつ一般化するために、時間スケーリングパラメータ ϑ = κ + δ を導入する。
• 教師-生徒フレームワークを用い、ガウス分布のデータと正規直交教師重みを採用して学習タスクと母集団リスクを定義する。
• 自己平均化近似を用いて、確率的勾配をその期待値に置き換え、相関行列（Q, M, P）を用いた閉形式のODE系を導出する。
• 異なるスケーリング領域において、ODEの予測と数値シミュレーションの結果を比較し、フェーズ図のすべての領域で良好な一致を確認した。

実験結果

リサーチクエスチョン

• RQ1 学習率のスケーリング、隠れ層幅、入力次元の相互作用が、2層ネットワークにおけるSGDの収束性と一般化性能にどのように影響するか？
• RQ2 古典的なSaad & SollaのODEフレームワークは、1/d学習率と固定幅を超える一般化されたスケーリング領域へ拡張可能か？
• RQ3 高次元極限において、完全学習、不完全学習、学習不能という明確な学習領域が出現するが、それらの境界は何か？
• RQ4 初期条件の選択が特化ダイナミクスに与える影響は何か？また、フェーズ図はこの選択に依存するか？
• RQ5 この設定におけるSGDのODE近似に対して、非漸近的収束保証を確立できるか？

主な発見

• フェーズ図は、κ + δ の和によって完全に決定され、ここで κ は隠れ層幅のスケーリング（p ∝ dᵏ）を支配し、δ は学習率のスケーリング（γ ∝ d⁻ᵟ）を支配する。
• κ + δ > 0 のとき、完全な学習が発生し、過剰誤差がべき乗則的にゼロに収束する。
• κ + δ = 0 のとき、定数で非ゼロの過剰誤差に到達するプラトー状態となり、これは古典的なSaad & Sollaスケーリングに対応する。
• −1/2 < κ + δ < 0 のとき、長時間極限においても消えない残留誤差を示す不完全な学習を示す。
• κ + δ < −1/2 のとき、ODEの記述は破綻し、任意の決定論的ダイナミクスを導出できず、SGDが意味のある解に収束しない領域を示す。
• 数値シミュレーションにより、すべての領域でODEの予測と良好な一致が確認され、初期化が制約なしのガウス分布であっても、ダイナミクスおよび最終的性能において一致が得られた。