[論文レビュー] On the Validity of Modeling SGD with Stochastic Differential Equations (SDEs)

Zhiyuan Li, Sadhika Malladi+1 more|arXiv (Cornell University)|Feb 24, 2021

Neural Networks and Applications参考文献 46被引用数 18

ひとこと要約

本稿は、勾配降下法（SGD）をイトーストキャスティック微分方程式（SDE）でモデル化する理論的・実験的妥当性を提示し、SDEを確実に近似する効率的なシミュレーション手法（SVAG）を提案する。SDE近似が成立するための必要条件を確立している——すなわち、平衡状態において勾配ノルムがノイズ分散より小さいこと——この条件が、正則化層を備えた深層ネットワークにおける線形スケーリング則の失敗を予測できることを示している。

ABSTRACT

It is generally recognized that finite learning rate (LR), in contrast to infinitesimal LR, is important for good generalization in real-life deep nets. Most attempted explanations propose approximating finite-LR SGD with Ito Stochastic Differential Equations (SDEs), but formal justification for this approximation (e.g., (Li et al., 2019)) only applies to SGD with tiny LR. Experimental verification of the approximation appears computationally infeasible. The current paper clarifies the picture with the following contributions: (a) An efficient simulation algorithm SVAG that provably converges to the conventionally used Ito SDE approximation. (b) A theoretically motivated testable necessary condition for the SDE approximation and its most famous implication, the linear scaling rule (Goyal et al., 2017), to hold. (c) Experiments using this simulation to demonstrate that the previously proposed SDE approximation can meaningfully capture the training and generalization properties of common deep nets.

研究の動機と目的

• 有限学習率におけるSGDの連続時間近似としてイトSDEを用いることの形式的妥当性を裏付けること。これは現在、直感的・ヒューリスティックな手法にとどまっている。
• 微細な時間積分が必要なため、SDE近似の実験的検証が計算的に非現実的であるという問題に対処すること。
• 深層学習の文脈においてSDE近似が有効であるための理論的根拠に基づいた、検証可能な必要条件を提供すること。
• 大きな学習率およびバッチサイズにおける広く用いられる線形スケーリング則（LSR）の失敗を調査すること、特に正則化ベースのネットワークにおいて。
• SDE近似が現実の深層ネットワークの学習ダイナミクスおよび一般化行動を意味的に捉えられることを示すこと。

提案手法

• SDE近似の弱収束が保証される、新しい数値的手法であるSVAG（Stochastic Variance Amplified Gradient）を提案。これは、有限学習率SGDのイトSDE近似を、弱収束の1次に保証してシミュレートする。
• 連続時間SDEモデルを用いる：dX_t = -∇L(X_t)dt + (ηΣ(X_t))^{1/2} dW_t、ここでΣ(X_t)は勾配ノイズの共分散である。
• SDE近似が成立するための必要条件を導出する：平衡状態において、勾配ノルムの二乗がノイズ分散より小さいこと（‖∇L‖² < Var(∇L_γ)）。
• SVAGの軌道と実際のSGDの軌道を、CIFAR-10、CIFAR-100、SVHNにおける深層ネットワークを用いて比較することで、SDE近似の実験的検証を行う。
• 訓練フェーズにわたるG_t/N_t（勾配対ノイズ比）の測定を通じて、線形スケーリング則の失敗を予測する。
• NGD実験では、SGDと勾配ノイズ共分散をよりよく一致させるために、バッチ正則化の代わりにグループ正則化（GroupNorm）を用いる。

実験結果

リサーチクエスチョン

• RQ1 有限学習率SGDのイトSDE近似が数学的に有効となる条件は何か？
• RQ2 SVAGのような計算的に効率的なシミュレーション手法は、SGDのダイナミクスを信頼性高く再現でき、SDE近似を検証できるか？
• RQ3 線形スケーリング則が大きな学習率およびバッチサイズで失敗するのはなぜか？この現象は理論的条件によって予測可能か？
• RQ4 SDE近似は、現実の深層ネットワークの一般化および学習行動を正確に反映しているか？
• RQ5 勾配ノルム対ノイズ分散比は、SDE近似の有効性および線形スケーリング則の失敗を信頼性高く予測する指標となるか？

主な発見

• SVAGはイトSDE近似に収束し、実際のSGDの軌道を実験的によく再現する。これにより、SDEモデルが意味的な近似として有効であることが裏付けられる。
• SDE有効性の必要条件である‖∇L‖² < Var(∇L_γ)は、線形スケーリング則の失敗を強く予測する指標として実験的に観察された。
• 勾配対ノイズ比G_t/N_tがしきい値（C²=2）を超えると線形スケーリング則が失敗し、このしきい値は実験的失敗点と一致する。
• CIFAR-10、CIFAR-100、SVHNにおける実験から、SVAGとSGDは訓練およびテスト曲線をほぼ同一に再現しており、SDE近似の忠実性が確認された。
• ノイズ共分散を適切に一致させたNGDは、SGDの性能をよく再現し、ノイズ構造が保持される場合にSDEフレームワークがさらに妥当であることを裏付けた。
• 条件G_t/N_t ≈ C²は、必要条件であるだけでなく、多様なアーキテクチャおよびデータセットにおいて、線形スケーリング則の失敗を予測するのに十分近い。