[論文レビュー] Neural networks trained with SGD learn distributions of increasing complexity

Maria Refinetti, Alessandro Ingrosso+1 more|arXiv (Cornell University)|Nov 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

この論文は、確率的勾配降下法（SGD）で訓練されたニューラルネットワークに、分布的単純性バイアス（DSB）が存在することを提案している。初期段階では、平均や共分散といった低次の入力統計量に依存するが、後に高次の統計量を活用する。ResNet18、ViT、DenseNet121を用いてCIFAR10およびImageNetの事前学習済みモデルで実証的検証がなされ、DSBは一般化ダイナミクスを説明する。複雑度が増すデータ（ガウス分布、WGAN、cifar5m）で訓練されたネットワークは、元のCIFAR10モデルのテスト精度を達成するまでに、徐々に長い訓練時間を要する。これは、統計的複雑度の段階的活用の階層を裏付ける。

ABSTRACT

The ability of deep neural networks to generalise well even when they interpolate their training data has been explained using various "simplicity biases". These theories postulate that neural networks avoid overfitting by first learning simple functions, say a linear classifier, before learning more complex, non-linear functions. Meanwhile, data structure is also recognised as a key ingredient for good generalisation, yet its role in simplicity biases is not yet understood. Here, we show that neural networks trained using stochastic gradient descent initially classify their inputs using lower-order input statistics, like mean and covariance, and exploit higher-order statistics only later during training. We first demonstrate this distributional simplicity bias (DSB) in a solvable model of a neural network trained on synthetic data. We empirically demonstrate DSB in a range of deep convolutional networks and visual transformers trained on CIFAR10, and show that it even holds in networks pre-trained on ImageNet. We discuss the relation of DSB to other simplicity biases and consider its implications for the principle of Gaussian universality in learning.

研究の動機と目的

• SGDで訓練されたニューラルネットワークが、訓練過程で高次の統計量にアクセスする前に、低次の入力統計量（例：平均や共分散）を優先的に学習するかどうかを調査すること。
• データ構造が単純性バイアスに与える役割、特に統計モーメントが一般化ダイナミクスに与える影響を理解すること。
• ガウス混合、GAN、拡散モデルなどの、徐々に複雑度が増すデータ近似で訓練されたニューラルネットワークが、本物のデータで訓練されたモデルの一般化性能を再現するのはどの段階で達成されるかをテストすること。
• モデル容量ではなくデータ分布の特徴に注目する、新たな単純性バイアス形態「分布的単純性バイアス（DSB）」を確立すること。

提案手法

• 解釈可能な設定で分布的単純性バイアス（DSB）の出現を解析的に示すために、合成データ上で単一ニューロンモデルを訓練した。
• CIFAR10でResNet18、ViT、DenseNet121を、ガウス混合、WGAN生成画像、cifar5m拡散生成画像といったデータクローンで訓練し、評価した。
• 本物のCIFAR10データと、徐々に複雑度が増すデータクローンで訓練したネットワークのテスト精度と損失のトレースを比較し、各訓練段階でネットワークがどの統計的特徴に依存しているかを推定した。
• ガウス分布（平均と共分散のみを捉える）、WGAN（高次の統計量を捉える）、cifar5m（高精細で現実的）という段階的なデータ近似を用い、学習過程における統計的依存性の進化を調査した。
• 標準的なハイパーパrameter（例：重み減衰5e-4、コサインスケジューリング、モーメンタム0.9）を用いてSGDでモデルを訓練し、元のCIFAR10テストセットで一般化性能を評価した。
• 計算制限のため、完全な高次の近似が不可能であったが、CIFAR100でガウスクローンを用いてDSBの再現性を確認した。

実験結果

リサーチクエスチョン

• RQ1 SGDで訓練されたニューラルネットワークは、データの高次の統計的特徴にアクセスする前に、平均や共分散といった低次の入力統計量を最初に活用するか？
• RQ2 データ分布の複雑度（高次のモーメントへの忠実度で測定）が、訓練過程におけるニューラルネットワークの一般化ダイナミクスにどのように影響するか？
• RQ3 本物のデータで訓練されたネットワークの一般化性能は、徐々に複雑度が増すデータクローンで訓練することで再現可能か？ もしそうなら、どの訓練段階で達成されるか？
• RQ4 分布的単純性バイアス（DSB）は、畳み込みネットワークやビジョントランスフォーマーを含むさまざまなアーキテクチャで安定しており、ImageNet事前学習済みモデルに対しても成立するか？
• RQ5 データ構造（特に低次元の内因性次元と高次の統計的依存性）は、SGD訓練における単純性バイアスとどのように相互作用するか？

主な発見

• ガウス混合（各CIFAR10クラスの平均と共分散のみを捉える）で訓練したResNet18は、最初の約50ステップ間、本物のCIFAR10で訓練したベースラインモデルと同等のテスト精度を達成した。
• cifar5mデータクローン（高精細で拡散ベース）で訓練したResNet18は、本物のCIFAR10モデルの一般化性能に約2000ステップの遅れをもって達するまで一致しなかった。これは、複雑な統計量の活用が遅れていることを示している。
• WGANベースのクローンは、ガウス混合よりもより複雑な構造を捉えているが、中間的な一般化ダイナミクスを示し、約1000ステップで本物のCIFAR10モデルと性能が一致した。
• CIFAR100では、2層ネットワークとLeNetはガウスクローンでも本物のデータと同程度の初期精度を示したが、より深いモデルでは早期に乖離した。これは、DSBが高次元・高クラス設定では不安定である可能性を示唆している。
• 分布的単純性バイアス（DSB）は、標準的およびImageNet事前学習済みモデルの両方で観察された。これは、DSBがアーキテクチャやデータ環境を問わずSGD訓練の一般的性質であることを示している。
• 結果は、統計的複雑度の階層を支持する：ネットワークはまず低次の統計量を用いて分類を学習し、その後、訓練が進むにつれて徐々に高次の依存関係を統合する。