[論文レビュー] Revisiting Neural Scaling Laws in Language and Vision

Ibrahim Alabdulmohsin, Behnam Neyshabur+1 more|arXiv (Cornell University)|Sep 13, 2022

Multimodal Machine Learning Applications被引用数 22

ひとこと要約

この論文は、以前の方法より画像、NMT、言語モデリング、BIG-Benchタスク全体で学習曲線の挙動をより正確に外挿する新しいスケーリング法推定器 M4 を導入し、補間ベースの適合より外挿ベースの検証を重視する。

ABSTRACT

The remarkable progress in deep learning in recent years is largely driven by improvements in scale, where bigger models are trained on larger datasets for longer schedules. To predict the benefit of scale empirically, we argue for a more rigorous methodology based on the extrapolation loss, instead of reporting the best-fitting (interpolating) parameters. We then present a recipe for estimating scaling law parameters reliably from learning curves. We demonstrate that it extrapolates more accurately than previous methods in a wide range of architecture families across several domains, including image classification, neural machine translation (NMT) and language modeling, in addition to tasks from the BIG-Bench evaluation benchmark. Finally, we release a benchmark dataset comprising of 90 evaluation tasks to facilitate research in this domain.

研究の動機と目的

• スケーリング法の厳密な外挿ベースの検証を促進し、最適な補間フィットに依存しないようにする。
• 学習曲線からの外挿精度を向上させる新しいスケーリング法推定器 M4 を提案し検証する。
• アーキテクチャのタイプとサイズが複数の領域でスケーリング指数に与える影響を評価する。
• 神経スケーリング法の研究を加速させる公開ベンチマークデータセットを90タスクで提供する。

提案手法

• 4つのスケーリング法推定器 M1–M4 を定義し、M4 は漸近的領域ではべき乗法に縮まるシグモイド状の拡張を導入する。
• パラメータを平方対数損失を最小化して適合させ、一部のパラメータは最小二乗法で閉じて解き、他は勾配降下法で精製する。
• 訓練 regime を超える保持データサイズでの外挿 RMSE を測定して推定器を検証する。
• BiT、ViT、MiX アーキテクチャの画像分類、NMT、言語モデリング、BIG-Bench タスクを横断して推定器を比較する。

実験結果

リサーチクエスチョン

• RQ1 どの程度正確に学習曲線からスケーリング法を外挿できるか、異なる推定器を用いて検証する。
• RQ2 M4 は多様な領域で従来のモデル（M1–M3）よりよい外挿を提供するか。
• RQ3 異なる推定器の下でアーキテクチャのタイプとサイズは推定スケーリング指数にどう影響するか。
• RQ4 共有ベンチマークデータセット（90タスク）は視覚と言語のスケーリング法研究を進展させるか。

主な発見

• 外挿に基づく推定（M4 およびある程度 M2） は補間に焦点を当てた適合（M1, M3）より性能の外挿で優れている。
• M4 は画像領域のタスクの70％超で他の方法より外挿性能が高く、複数のアーキテクチャファミリーにわたって代替案を凌駕する。
• NMT と言語モデリングの領域で、M4 は最小外挿 RMSE を生み出し、しばしば M1–M3 に比べて桁違いの差となる。
• BIG-Bench タスクでは、M3 および M4 の両方が最も良い性能を示し、M4 は通常 M3 に匹敵するか上回る。
• 同じファミリ内の大規模アーキテクチャはスケーリング指数がより好ましくなる傾向があり、M4 は従来法よりも指数 c の絶対値が大きくなる傾向を示す。