[論文レビュー] SGD with Large Step Sizes Learns Sparse Features

Maksym Andriushchenko, Aditya Varre+2 more|arXiv (Cornell University)|Oct 11, 2022

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、SGDにおける大きなステップサイズが、正則化を明示的に施さなくてもニューラルネットワークにおけるスパース特徴表現へのimplicit biasを引き起こす損失安定化フェーズを誘発することを示している。実験的および理論的分析を通じて、長期にわたる安定化がノイズ駆動のダイナミクスを強化し、ニューラル接続核（NTK）特徴と関連するSDEモデルを介してSGDがスパース特徴を学習可能であることを明らかにした。

ABSTRACT

We showcase important features of the dynamics of the Stochastic Gradient Descent (SGD) in the training of neural networks. We present empirical observations that commonly used large step sizes (i) lead the iterates to jump from one side of a valley to the other causing loss stabilization, and (ii) this stabilization induces a hidden stochastic dynamics orthogonal to the bouncing directions that biases it implicitly toward sparse predictors. Furthermore, we show empirically that the longer large step sizes keep SGD high in the loss landscape valleys, the better the implicit regularization can operate and find sparse representations. Notably, no explicit regularization is used so that the regularization effect comes solely from the SGD training dynamics influenced by the step size schedule. Therefore, these observations unveil how, through the step size schedules, both gradient and noise drive together the SGD dynamics through the loss landscape of neural networks. We justify these findings theoretically through the study of simple neural network models as well as qualitative arguments inspired from stochastic processes. Finally, this analysis allows us to shed a new light on some common practice and observed phenomena when training neural networks. The code of our experiments is available at https://github.com/tml-epfl/sgd-sparse-features.

研究の動機と目的

• 深層ニューラルネットワークの学習におけるSGDにおける大きなステップサイズのimplicit regularisation効果を理解すること。
• 実践的によく観察される損失安定化が、さらなる損失低下がないにもかかわらず一般化性能の向上に寄与する理由を解明すること。
• 安定化フェーズ中に生じる隠れた確率的ダイナミクスが、なぜスパース特徴学習を促進するかを同定すること。
• 観察された行動を、ニューラル接続核（NTK）特徴に結びついた乗法的ノイズを有する確率微分方程式（SDE）モデルと結びつけること。
• 大きなステップサイズが、ラージトレーニングからリッチ特徴学習の領域への遷移を可能にする仕組みについて、理論的および実証的根拠を提供すること。

提案手法

• ステップサイズを段階的に一定に保つスケジュール（減衰あり・なし）を用いて、CIFAR-10におけるResNet-18の学習ダイナミクスを実験的に分析する。
• 訓練損失がさらに低下しないにもかかわらずほぼ一定を保つ損失安定化のパターンを観察する。
• 安定化期における遅いダイナミクスを、ニューラル接続核（NTK）特徴に比例する乗法的ノイズを有する確率微分方程式（SDE）でモデル化する。
• SDEモデルの予測された特徴スパースネスと実際のネットワーク挙動を、CIFAR-10およびCIFAR-100におけるアーキテクチャ（ResNet-18, ResNet-34）で比較することで、SDEモデルの妥当性を検証する。
• 2層のティーチャーステューデント設定を用いて、小さなステップサイズでは特徴学習が抑制されるが、大きなステップサイズでは可能であることを確認する。
• ミニバッチサイズの役割を分析し、ステップサイズをバッチサイズ $ B $ に比例してスケーリングした有効ステップサイズ $ \gamma \leftarrow \gamma / B $ を用いることで、ダイナミクスが維持されることを示す。

実験結果

リサーチクエスチョン

• RQ1 SGDにおける大きなステップサイズは、損失低下を越えて、学習ダイナミクスにどのように影響を与えるか？
• RQ2 損失安定化フェーズ中に生じる、一般化性能の向上に寄与する隠れた確率的ダイナミクスは何か？
• RQ3 安定化期におけるスパース特徴へのimplicit biasは、NTK依存のノイズを持つSDEでモデル化可能か？
• RQ4 安定化フェーズの持続時間が、学習された特徴のスパースネスおよび一般化性能に与える影響の程度はどの程度か？
• RQ5 重み減衰、BatchNorm、SAMといった一般的な実装手法は、大きなステップサイズによるimplicit regularisationとどのように関連しているか？

主な発見

• 大きなステップサイズは、訓練損失がほぼ一定を保つ損失安定化フェーズを誘発するが、その持続時間が長いほど一般化性能が向上する。
• 安定化期には、勾配と消えない乗法的ノイズの相互作用によって生じるゆっくりとしたドリフトが観察され、これがモデルにスパース特徴表現へのバイアスをもたらす。
• 安定化期における有効なダイナミクスは、ノイズ項がニューラル接続核（NTK）特徴に比例する確率微分方程式（SDE）でよくモデル化できる。
• 実証的結果から、安定化フェーズの持続時間が長くなるほど特徴のスパースネスが上昇し、テスト誤差が低下することが確認された。これは明示的な正則化がなくても成立する。
• 特徴のスパースネスと一般化性能の向上には強く相関が見られ、ステップサイズスケジュールに応じてテスト誤差は最大12–35%の差を示した。
• BatchNorm や重み減衰といった正規化手法は、発散を防ぎつつスパース指向のimplicit biasを強化する大きなステップサイズを可能にするものと解釈できる。