[論文レビュー] A Solvable Model of Neural Scaling Laws

Alexander Maloney, Daniel A. Roberts+1 more|arXiv (Cornell University)|Oct 30, 2022

Topic Modeling被引用数 12

ひとこと要約

本稿では、大規模言語モデルにおけるニューラルスケーリング法則を説明するため、連合生成データモデルとランダム特徴マップを組み合わせた解ける統計モデルを提案する。大規模データおよび大規模パラメータの極限においてモデルを解析的に解くことで、自然データにおけるパワー則統計と非線形特徴マップがテスト損失のパワー則を生じること、有限なスペクトルサポートによるパフォーマンスの平坦化（プラトー）を説明し、等パrameter化スケーリングの最適性を確立する。

ABSTRACT

Large language models with a huge number of parameters, when trained on near internet-sized number of tokens, have been empirically shown to obey neural scaling laws: specifically, their performance behaves predictably as a power law in either parameters or dataset size until bottlenecked by the other resource. To understand this better, we first identify the necessary properties allowing such scaling laws to arise and then propose a statistical model -- a joint generative data model and random feature model -- that captures this neural scaling phenomenology. By solving this model in the dual limit of large training set size and large number of parameters, we gain insight into (i) the statistical structure of datasets and tasks that lead to scaling laws, (ii) the way nonlinear feature maps, such as those provided by neural networks, enable scaling laws when trained on these datasets, (iii) the optimality of the equiparameterization scaling of training sets and parameters, and (iv) whether such scaling laws can break down and how they behave when they do. Key findings are the manner in which the power laws that occur in the statistics of natural datasets are extended by nonlinear random feature maps and then translated into power-law scalings of the test loss and how the finite extent of the data's spectral power law causes the model's performance to plateau.

研究の動機と目的

• 大規模言語モデルにおけるニューラルスケーリング法則が出現する統計的・構造的条件を理解すること。
• ニューラルネットワークに見られるような非線形特徴マップが、モデルパフォーマンスの予測可能なパワー則スケーリングをどのように可能にするかを特定すること。
• モデルサイズとデータスケールをバランスさせる等パrameter化が、スケーリングパフォーマンスにおいてなぜ最適であるかを調査すること。
• スケーリング法則が破綻する条件、特に有限なデータスペクトルサポートによる影響を特定すること。
• テスト損失がモデルサイズおよびデータセットサイズに対してパワー則に従うという経験的観察の理論的基盤を提供すること。

提案手法

• パワー則分布を示す特徴を有する連合生成データモデルとランダム特徴マップモデルを提案し、ニューラルネットワーク学習を模擬する。
• 大規模な訓練データセットサイズ（T）と大規模なパrameter数（N）の二重極限において、ランダム行列理論の手法を用いてモデルを解く。
• 有効なノイズ項とラベル項の自己無撞着方程式を導出し、一般化誤差を支配するリゾルベントトレースΔに特に注目する。
• 異なるパrameter領域（不足パラメータ化、過剰パラメータ化、一致領域）におけるΔの挙動を分析し、スケーリング極限における普遍性を示す。
• スペクトル切断を用いて有限なデータサポートをモデル化し、これがスケーリング法則におけるパフォーマンスプラトーを引き起こすことを示す。
• 特に、切断されたパワー則スペクトルおよびランダム射影を仮定した下で、Δ₀およびΔ₋₁の明示的解析的表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルスケーリング法則が出現するために必要なデータセットおよびタスクの統計的性質は何か？
• RQ2 ニューラルネットワークに見られるような非線形特徴マップは、パワー則データ統計をどのようにパワー則スケーリングのテスト損失に変換するか？
• RQ3 なぜモデルサイズとデータサイズを比例してスケーリングする等パラメータ化が、スケーリングパフォーマンスにおいて最適なのか？
• RQ4 スケーリング法則が破綻する条件は何か？ 有限なデータスペクトルサポートはその破綻にどのように影響するか？
• RQ5 解ける統計的データ・特徴マップモデルを用いて、観察されたパワー則スケーリングを第一原理から導出できるか？

主な発見

• 自然データセットにおけるパワー則統計は、非線形ランダム特徴マップによって拡張され、これがテスト損失のパワー則スケーリングに翻訳される。
• データのスペクトルパワー則の有限な範囲が、モデルのパフォーマンスがプラトーに達することを引き起こし、スケーリング法則における観察された飽和を説明する。
• モデルは、モデルサイズとデータサイズを比例してスケーリングする等パラメータ化が、スケーリング領域においてテスト損失を最小化するのに最適であることを示している。
• 大N・大T極限において、有効なノイズ項とラベル項は、特定のスペクトルに依存しない普遍的挙動を示すが、極端な領域を除いてはそうである。
• Δ₀(T,N) の解析的解は、N > M のとき、ランダム射影行列uに依存せず、Nと潜在次元Mにのみ依存する。
• 数値的検証により、Δ₀(T,N) の解析的解がさまざまな領域で妥当であることが確認され、非常に小さなTまたは高α領域では、高次のスペクトル効果に起因するわずかなずれが生じるのみである。