[論文レビュー] A Neural Scaling Law from the Dimension of the Data Manifold

Utkarsh Sharma, Jared Kaplan|arXiv (Cornell University)|Apr 22, 2020

Neural Networks and Applications参考文献 24被引用数 19

ひとこと要約

この論文は、モデルのパラメータ数に対して損失がべき乗則に従うという観察されたニューラルスケーリング則の理論的説明を提示する。これは、スケーリング指数 α をデータ多様体の内在次元 d に関連付けるものである。画像および言語モデルを用いた教師/生徒フレームワークと実験的検証を通じて、α ≈ 4/d であることを示し、データ多様体の次元が異なるモodal にわたる一般化スケーリングを根本的に決定することを確認した。

ABSTRACT

When data is plentiful, the loss achieved by well-trained neural networks scales as a power-law $L \propto N^{-α}$ in the number of network parameters $N$. This empirical scaling law holds for a wide variety of data modalities, and may persist over many orders of magnitude. The scaling law can be explained if neural models are effectively just performing regression on a data manifold of intrinsic dimension $d$. This simple theory predicts that the scaling exponents $α\approx 4/d$ for cross-entropy and mean-squared error losses. We confirm the theory by independently measuring the intrinsic dimension and the scaling exponents in a teacher/student framework, where we can study a variety of $d$ and $α$ by dialing the properties of random teacher networks. We also test the theory with CNN image classifiers on several datasets and with GPT-type language models.

研究の動機と目的

• 多様なデータモダリティにわたるモデルサイズの増大に伴い、ニューラルネットワークの損失がべき乗則に従う理由を説明すること。
• モデルアーキテクチャの違いにもかかわらず、スケーリング指数がほとんど変化しない理由を説明すること。
• データ多様体の内在次元 d がスケーリング指数 α を決定する役割を調査すること。
• ニューラルネットワークが低次元のデータ多様体上で回帰を実行し、スケーリングが部分領域のサイズ縮小に支配されることを仮説とする。
• 理論的予測 α ≈ 4/d が、複数のモデルタイプおよびデータ分布において実証的に検証可能かどうかを検証すること。

提案手法

• ニューラルネットワークが内在次元 d のデータ多様体をより小さな部分領域に分割し、部分領域のサイズが小さくなるにつれて損失が減少するという、仮説的な理論を提唱する。
• 交差エントロピー損失および平均二乗誤差損失の両方に対して、理論的予測としてスケーリング指数 α が α ≈ 4/d を満たすことを導出する。
• ランダムな教師ネットワークを用いた教師/生徒フレームワークを実装し、d と α を独立して制御することで、理論の体系的検証を可能にする。
• 最終層の活性化値を用いて、最近接距離法（TwoNN および MLE）を用いて内在次元 d を測定する。
• CIFAR10、MNIST など画像データセットに単純な CNN を訓練し、GPT 型モデルを用いてスケーリング則のテストと実世界における d の測定を実施する。
• データ密度、近傍点数、モデル初期化の変動に対する ID 評価の頑健性を統計的検証で評価する。

実験結果

リサーチクエスチョン

• RQ1 データ多様体の内在次元 d は、ニューラルネットワークの損失スケーリングにおけるスケーリング指数 α を予測できるか？
• RQ2 LSTM や Transformer といった異なるアーキテクチャ間で、スケーリング指数 α がなぜほぼ一定であるのか？
• RQ3 モデルサイズが多数のオーダーにわたり、べき乗則のスケーリング挙動がどのように維持されるのか？
• RQ4 高次元における真の多様体次元性を正確に反映できるのか、ID 評価手法の正確性はどの程度か？
• RQ5 理論的予測 α ≈ 4/d は、画像および言語データを含む多様なデータモダリティにおいて、実証的に検証可能か？

主な発見

• 本論文は、画像分類器および GPT スタイルの言語モデルを含む複数のデータセットおよびモデルタイプにおいて、スケーリング指数 α が α ≈ 4/d を満たすことを確認した。
• 教師/生徒実験において、独立的に推定された内在次元 d から予測される α 値と、測定された α 値がよく一致し、理論モデルの妥当性が裏付けられた。
• 訓練済み CNN の ID 測定では、モデルサイズ N にかかわらず最小限の変動が見られ、d がモデル容量の関数ではなく、データ多様体の安定した性質であることが示された。
• GPT 型モデルにおいて、最終層活性化の内在次元が観察されたスケーリング指数と相関しており、自己回帰的言語モデリングにおいて理論が支持されることを示した。
• d ≤ 20 の範囲では ID 評価手法が信頼性があるが、高次元では d を低めに推定する傾向がある。しかし、この系統的バイアスは d–α 関係自体を無効にしない可能性がある。
• 理論は α のアーキテクチャ不変性を説明する：スケーリングが d にのみ依存するため、d が固定されていれば、異なるアーキテクチャでも同様にスケーリングする。