[論文レビュー] A Dynamical Model of Neural Scaling Laws

Blake Bordelon, Alexander Atanasov+1 more|arXiv (Cornell University)|Feb 2, 2024

Neural dynamics and brain function被引用数 4

ひとこと要約

本稿は、勾配降下法を用いたランダム特徴量ネットワークに基づく解ける動的モデルを提案し、ニューラルスケーリング則を説明する。非対称な計算最適スケーリング則を導出し、トレーニング時間はモデルサイズよりも速くスケーリングすることを予測し、幅に依存する遅刻時の損失指数を予測し、データ再利用による有限幅補正を説明する。これにより、深層学習における主要な経験的スケーリング現象を統一的に説明する理論を提供する。

ABSTRACT

On a variety of tasks, the performance of neural networks predictably improves with training time, dataset size and model size across many orders of magnitude. This phenomenon is known as a neural scaling law. Of fundamental importance is the compute-optimal scaling law, which reports the performance as a function of units of compute when choosing model sizes optimally. We analyze a random feature model trained with gradient descent as a solvable model of network training and generalization. This reproduces many observations about neural scaling laws. First, our model makes a prediction about why the scaling of performance with training time and with model size have different power law exponents. Consequently, the theory predicts an asymmetric compute-optimal scaling rule where the number of training steps are increased faster than model parameters, consistent with recent empirical observations. Second, it has been observed that early in training, networks converge to their infinite-width dynamics at a rate $1/ extit{width}$ but at late time exhibit a rate $ extit{width}^{-c}$, where $c$ depends on the structure of the architecture and task. We show that our model exhibits this behavior. Lastly, our theory shows how the gap between training and test loss can gradually build up over time due to repeated reuse of data.

研究の動機と目的

• ニューラルスケーリング則の起源を理解すること、特に計算量を固定した条件下でのモデルサイズとトレーニング時間の非対称的スケーリングに焦点を当てる。
• トレーニング時間とモデルサイズのスケーリング指数が異なる理由を説明し、非一様な計算最適戦略を導く仕組みを解明すること。
• 有限幅効果とデータ再利用が時間とともにどのように蓄積されるかをモデル化し、トレーニング損失とテスト損失の間の性能ギャップを説明すること。
• アーキテクチャやタスクに依存する遅刻時のスケーリング指数を導出し、初期時における $1/\text{width}$ の振る舞いと対比すること。
• 無限幅極限におけるアンサンブルと幅スケーリングの限界を明確にし、有限設定では両者が同等でないことを示すこと。

提案手法

• 勾配降下法で訓練されるランダム特徴量モデルを、深層ネットワーク訓練の解ける代理モデルとして分析する。
• 無限幅極限における相関関数と応答関数を計算するために、平均場理論と動的メッセージパッシング（DMP）を適用する。
• 離散時間における自己無撞着方程式を用いて、損失、相関、応答関数の順序パラメータを導出する。
• 主値およびデルタ関数分解を用いて、特異性を扱うためのフーリエ変換法を適用し、モデル／データのボトルネック領域（$\alpha < 1$ または $\nu < 1$）をカバーする。
• 固定計算量 $C = Nt$ の下で、累乗則の和を最小化する最適化問題を解き、計算最適スケーリングを求める。
• 応答関数と相関関数の自己無撞着方程式を数値的に反復して、テスト損失とスケーリング指数を計算する。

(a) One-Pass CIFAR-5M Test Dynamics

実験結果

リサーチクエスチョン

• RQ1 なぜトレーニング時間とモデルサイズのスケーリング指数が異なり、それが非対称な計算最適スケーリングをもたらすのか？
• RQ2 有限幅補正はどのように時間とともに変化し、なぜ $1/\text{width}$ から $\text{width}^{-c}$ の振る舞いへと遷移するのか？
• RQ3 データ再利用がトレーニング中にどのように一般化ギャップを段階的に増大させるのか？
• RQ4 なぜ幅の広いモデルが常に一般化性能が良いわけではないのか、特に繰り返しデータを使用する遅刻時においては？
• RQ5 有限幅領域において、アンサンブル化と幅の増加のスケーリング行動はどのように比較されるのか？

主な発見

• モデルは $t \propto C^{c_2}$ および $N \propto C^{c_1}$ という非対称な計算最適スケーリングを予測し、$c_2 > c_1$ である。これは、大規模言語モデルにおける経験的観察と整合的である。
• 理論は、初期時における $1/\text{width}$ の有限幅補正から、遅刻時の $\text{width}^{-c}$ スケーリングへの遷移を再現し、$c$ はアーキテクチャやタスクに依存する。
• 明示的な過学習がなくても、繰り返しデータの再利用により、トレーニング損失とテスト損失の一般化ギャップが段階的に増大することが示された。
• モデルは、有限幅領域ではアンサンブル化が幅の増加の利点を再現できないことを示し、実際の状況では両者が同等でないことを挑戦する。
• 計算最適損失は $\mathcal{L}_\star(C) \propto C^{-\frac{r_t r_N}{r_t + r_N}}$ とスケーリングし、固定計算量下での累乗則の和の最小化から導出された。
• データ繰り返し下での幅に依存するテスト損失の非単調な振る舞いをモデルが捉え、遅刻時に「幅が広いほど良い」という傾向が逆転することを説明する。

(c) Wikitext-100M Train and Test