[論文レビュー] Stochastic Training is Not Necessary for Generalization

Jonas Geiping, Micah Goldblum+3 more|arXiv (Cornell University)|Sep 29, 2021

Advanced Neural Network Applications参考文献 91被引用数 6

ひとこと要約

この論文は、深層ニューラルネットワークにおける一般化のためには確率的学習が必須ではないことを示しており、明示的正則化を用いたフルバッチ勾配降下が、CIFAR-10で最先端の性能（95.68％の正確性）を達成できることを示している。SGDの勾配ノイズによる暗黙的正則化は、勾配ベース正則化や攻撃的なクリッピングといった明示的正則化に置き換え可能であり、確率的でない方法でも強力な一般化性能を達成できる。

ABSTRACT

It is widely believed that the implicit regularization of SGD is fundamental to the impressive generalization behavior we observe in neural networks. In this work, we demonstrate that non-stochastic full-batch training can achieve comparably strong performance to SGD on CIFAR-10 using modern architectures. To this end, we show that the implicit regularization of SGD can be completely replaced with explicit regularization even when comparing against a strong and well-researched baseline. Our observations indicate that the perceived difficulty of full-batch training may be the result of its optimization properties and the disproportionate time and effort spent by the ML community tuning optimizers and hyperparameters for small-batch training.

研究の動機と目的

• 深層学習における一般化に確率的勾配降下（SGD）が不可欠であるという広く共有された信念に挑戦すること。
• ミニバッチの確率的性質に依存せずに、SGDの一般化利点を分離し再現すること。
• フルバッチ学習において、SGDの暗黙的正則化を明示的正則化が完全に代替可能であることを示すこと。
• 適切なハイパーパrameterチューニングと正則化を施したフルバッチ学習が、標準ベンチマークでSGDの性能を同等または上回ることを調査すること。
• 小バッチからの勾配ノイズが、過パラメータ化モデルにおける一般化の根本的要因であるという仮定を疑うこと。

提案手法

• 全データセット（50,000枚）を用いたフルバッチ勾配降下で、CIFAR-10におけるResNet-18の学習。
• 勾配ベース正則化（Smith et al., 2020b）を適用し、損失関数の鋭さをペナルティ化することで明示的正則化を実施。
• フルバッチ設定における発散を防ぐために、攻撃的な勾配クリッピングを用いて訓練を安定化。
• ヘシアン・ベクトル積を効率的に計算するため、前進差分近似を用いる。
• データオーグメンテーションを用いない非確率的学習に拡張し、学習率、重み減衰、勾配クリッピングをチューニング。
• 損失関数の形状を可視化することで、フルバッチ学習とSGDで学習したモデルの鋭さと一般化行動を比較検証。

実験結果

リサーチクエスチョン

• RQ1 データオーグメンテーションや確率的性質を用いずに、フルバッチ勾配降下がCIFAR-10でSGDと同等の一般化性能を達成できるか？
• RQ2 SGDの暗黙的正則化は一般化に真に不可欠なのか、それとも明示的正則化で置き換え可能か？
• RQ3 フルバッチ学習を安定化させ、高い正確性を達成するために必要なハイパーパrameter調整は何か？
• RQ4 勾配クリッピングと明示的正則化の組み合わせが、フルバッチ学習における極小値の鋭さにどのように影響するか？
• RQ5 シャープネス・アウェア・ミニマライゼーション（SAM）の利点を、非確率的かつフルバッチ設定でも再現可能か？

主な発見

• データオーグメンテーションを用いた場合、明示的正則化を施したフルバッチ学習がCIFAR-10で95.68％±0.09の検証正確性を達成し、強力なSGDベースラインと同等の性能を示した。
• データオーグメンテーションなしでも、攻撃的な勾配クリッピングと明示的正則化を用いることで、フルバッチ学習が95％を超える正確性を達成した。
• 勾配ベース正則化（Smith et al., 2020b）が、SGDの勾配ノイズによる一般化利点を効果的に再現した。
• 損失関数の形状解析から、適切な正則化を施したフルバッチ学習は、SGDと同様に平坦な極小値に収束することが分かった。
• 特定のハイパーパramータ設定下で、勾配正則化とSAMの間の等価性が解析的に確立され、両手法が共通のメカニズムを有することが示された。
• 結果から、フルバッチ学習の困難さは、最適化の不安定性とハイパーパramータへの感受性に起因するものであり、その方法自体に根本的限界があるわけではないことが示唆された。