[論文レビュー] Explaining Neural Scaling Laws

Yasaman Bahri, Ethan Dyer+3 more|arXiv (Cornell University)|Feb 12, 2021

Neural Networks and Applications参考文献 79被引用数 31

ひとこと要約

この論文は、データセットのサイズとモデルサイズの両方について、分散制限と解像度制限の4つのニューラルスケーリングレジームを説明する理論を提案し、指数をデータマニフォールドの固有次元とカーネルスペクトルに結びつけ、標準データセット上のランダム特徴および事前学習済みモデルで実証を行う。

ABSTRACT

The population loss of trained deep neural networks often follows precise power-law scaling relations with either the size of the training dataset or the number of parameters in the network. We propose a theory that explains the origins of and connects these scaling laws. We identify variance-limited and resolution-limited scaling behavior for both dataset and model size, for a total of four scaling regimes. The variance-limited scaling follows simply from the existence of a well-behaved infinite data or infinite width limit, while the resolution-limited regime can be explained by positing that models are effectively resolving a smooth data manifold. In the large width limit, this can be equivalently obtained from the spectrum of certain kernels, and we present evidence that large width and large dataset resolution-limited scaling exponents are related by a duality. We exhibit all four scaling regimes in the controlled setting of large random feature and pretrained models and test the predictions empirically on a range of standard architectures and datasets. We also observe several empirical relationships between datasets and scaling exponents under modifications of task and architecture aspect ratio. Our work provides a taxonomy for classifying different scaling regimes, underscores that there can be different mechanisms driving improvements in loss, and lends insight into the microscopic origins of and relationships between scaling exponents.

研究の動機と目的

• ニューラルネットワークがデータセットサイズとパラメータ数のスケーリングをべき乗則で示す理由を説明する。
• スケーリング指数をデータ分布、データマニフォールドの固有次元、カーネルスペクトルに結びつける。
• DとPの両方に対して分散制限レジームと解像度制限レジームを含む統一的な枠組みを提供する。
• solvableな線形/ランダム特徴モデルと標準アーキテクチャ/データセットの経験的実証で理論を示す。

提案手法

• データセットサイズ D とパラメータ数 P（または幅 w）に対する分散制限と解像度制限の4つのスケーリングレジームを定義する。
• 理論的主張を展開：分散制限の指数は無限データまたは無限幅の平滑化極限に由来し、解像度制限の指数はモデルがデータマニフォールドを分割しカーネルスペクトルを形成することに由来する。
• すべての4つのレジームを実現し損失式（例えば L(P) および L(D)）を導く解ける線形/ランダム特徴の教師-学生モデルを提示する。
• 解像度制限の指数をデータマニフォールドの固有次元 d およびカーネルスペクトル減衰（λ_i ~ i^-(1+α_K)）と関連づける。
• 過少パラメータ化/過剰パラメータ化レジーム間の二重性をカーネルスペクトルとデータ点の射影を介してリンクさせる。
• 標準データセットとアーキテクチャを跨ぐランダム特徴および事前学習モデルの実験で理論を補完する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークのデータセットサイズ D およびパラメータ数 P に関するスケーリングレジームは何か？
• RQ2 スケーリング指数はデータ分布、データマニフォールドの固有次元 d、カーネルスペクトルにどのように依存するか？
• RQ3 統一理論は異なるモデルレジーム間での分散制限と解像度制限のスケーリングを説明できるか？
• RQ4 ノイズ、データ前処理（ノイズ、スーパークラス化）などのアーキテクチャの選択がスケーリング指数にどう影響するか？
• RQ5 単純で解けるモデル（線形/ランダム特徴）は実世界のネットワークで観測される4つのスケーリングを再現できるか？

主な発見

• 4つのスケーリングレジームが特定され、経験的にも支持される：分散制限は普遍的な指数、データ分布に依存する指数を持つ解像度制限はDとPの両方について適用される。
• 分散制限レジームでは、適切な条件下で指数は普遍的（ alpha_D = alpha_W = 1）となる。
• 解像度制限レジームでは、指数はデータ分布に依存し、データマニフォールドの固有次元 d およびカーネルスペクトル減衰と関連する。
• 過少パラメータ化レジームと過剰パラメータ化レジームはカーネルスペクトルとデータ点の射影を通じて二重性を持つ。
• ランダム特徴と事前学習モデルの実験は4つのレジームを再現し、指数はデータセット、アーキテクチャ、入力分布に影響される。
• ノイズやデータセットによる入力分布の変更は指数に大きな影響を与え得る一方、スーパークラス化ターゲットは影響が限定的である。