[論文レビュー] The Quantization Model of Neural Scaling

Eric J. Michaud, Ziming Liu+2 more|arXiv (Cornell University)|Mar 23, 2023

Neural Networks and Applications被引用数 8

ひとこと要約

論文はニューロンのスケーリングに対する Quantization Model を提案し、モデル知識は離散的なクォンタで学習され、それらの使用頻度は Zipf 分布に従うため、パワー則に従う損失スケーリングを生み出すと主張する。 toy データでの妥当性を検証し、LLM のスケーリングをクォンタに分解して分析し、勾配から自動的にこれらのクォンタ を発見する方法を概説する。

ABSTRACT

We propose the Quantization Model of neural scaling laws, explaining both the observed power law dropoff of loss with model and data size, and also the sudden emergence of new capabilities with scale. We derive this model from what we call the Quantization Hypothesis, where network knowledge and skills are "quantized" into discrete chunks ($ extbf{quanta}$). We show that when quanta are learned in order of decreasing use frequency, then a power law in use frequencies explains observed power law scaling of loss. We validate this prediction on toy datasets, then study how scaling curves decompose for large language models. Using language model gradients, we automatically decompose model behavior into a diverse set of skills (quanta). We tentatively find that the frequency at which these quanta are used in the training distribution roughly follows a power law corresponding with the empirical scaling exponent for language models, a prediction of our theory.

研究の動機と目的

• Neural scaling の Quantization Hypothesis を動機づけ formalize する。
• 学習する離散クォンタがパワー則の損失スケーリングをもたらす theoretically を導出する。
• toy データセットでスケーリングが構造化されたサブタスク分布から生じることを示す。
• 大規模言語モデルのスケーリングを分解してクォンタとその使用パターンを定量化する。
• QDG（Quanta Discovery from Gradients）を提案し、言語モデルでクォンタを自動的に識別する。

提案手法

• クォンタをモデルが学習する離散的な知識/スキル・モジュールとして定義する。
• Zipf 分布を用いてクォンタに対する学習量 n の関数として損失 L_n を導出する。
• Ln がパワー則的な収束をすることを示す：Ln ≈ a + (b−a) n^(-α)。
• サブタスクが Zipfian 分布を持つマルチタスクのスパース・パリティ・トイデータセットを構築し、スケーリングを誘導する。
• Pythia 系列のモデルで、各トークンの損失と勾配ベースのクォンタ・クラスタリングを測定してスケーリングを分析する。
• 正規化された勾配に対するスペクトルクラスタリングを用いて、整合した技能クラスタ（クォンタ）を見つける、言語モデルの勾配発見（QDG）を開発する。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークは性能を支配する離散的なクォンタの集合を学習するのか？
• RQ2 クォンタの使用頻度はべき法則に従い、観測されるスケーリングの指数を生むのか？
• RQ3 パラメータ/データのスケーリング指数は Quantization Model によって関係づけられるのか？
• RQ4 勾配情報を用いて自動的にクォンタを発見・検証できるのか？
• RQ5 大規模言語モデルにおけるスケーリングはサブタスクやトークンにわたってどのように分解されるのか？

主な発見

• より多くのクォンタが学習されると損失がパワー則的に低下する、Ln − L∞ ∝ n^(−α)。
• toy マルチタスク・スパース・パリティ実験は、クォンタモデルと整合するパラメータ・データ・ステップに対するスケーリングを示す。
• Pythia 系の言語モデルでは、平均クロスエントロピー損失はモデルサイズとともに指数 α_N ≈ 0.083 でスケールする（最大モデルを除外してフィット）。
• 固定スケールでの損失分布はゼロに近い方に集中するが、ゼロ損失のトークンは平均損失の質量には寄与が小さい。
• トークンは単一クォンタ（モノジェニック）スケーリングというより、複数のクォンタが関与する多遷移的改善を示すことが多いが、いくつかのトークンはモノジェニック様の急激な遷移を示す。
• 勾配ベースのクラスタリングは、数列の増分など解釈可能なモデル技能に対応する一貫したクラスタ（クォンタ）を発見する。
• 発見されたクォンタ の順位-頻度分析はべき法則的傾向を示し、勾配のスロープは約 −1.24 付近で、理論の予測と広く整合する。