[論文レビュー] Algorithmic progress in language models

Anson Ho, Tamay Besiroglu+7 more|arXiv (Cornell University)|Mar 9, 2024

Natural Language Processing Techniques被引用数 11

ひとこと要約

本論文は、言語モデルの事前学習におけるアルゴリズムの改善が必要計算量を時間とともにどのように低減させるかを定量化し、効果的な計算量の中央値の倍増期間を約8カ月と見積もり、近年の gains の大半が計算量スケーリングによって生じたことを指摘している。さらに、トランスフォーマーの計算量換算の利得と、アルゴリズム対ハードウェアスケーリングの役割の変化を評価している。

ABSTRACT

We investigate the rate at which algorithms for pre-training language models have improved since the advent of deep learning. Using a dataset of over 200 language model evaluations on Wikitext and Penn Treebank spanning 2012-2023, we find that the compute required to reach a set performance threshold has halved approximately every 8 months, with a 95% confidence interval of around 5 to 14 months, substantially faster than hardware gains per Moore's Law. We estimate augmented scaling laws, which enable us to quantify algorithmic progress and determine the relative contributions of scaling models versus innovations in training algorithms. Despite the rapid pace of algorithmic progress and the development of new architectures such as the transformer, our analysis reveals that the increase in compute made an even larger contribution to overall performance improvements over this time period. Though limited by noisy benchmark data, our analysis quantifies the rapid progress in language modeling, shedding light on the relative contributions from compute and algorithms.

研究の動機と目的

• 2012–2023年の200件超の評価データセットを用いて、言語モデルの事前学習におけるアルゴリズム的進歩の速度を測定する。
• アルゴリズムの改善、モデルスケーリング、データスケーリングからの寄与を性能向上として分解する。
• 有効な計算量、データ、およびパラメータ効率の倍増時間を推定し、トランスフォーマーと非トランスフォーマーのアーキテクチャを比較する。
• トランスフォーマーアーキテクチャが計算効率と全体的な進歩に与える影響を評価する。

提案手法

• perplexity をモデルサイズ N およびデータ D と irreducible loss E に関連付ける拡張スケーリング法を適合させ、時間とともに N_eff および D_eff の指数的な進歩を組み込む。
• 有効データ D_eff = D exp(beta'(Y-Y0)) および有効モデルサイズ N_eff = N exp(alpha'(Y-Y0)) を定義し、L = E + A/N_eff^alpha_param + B/D_eff^beta_data に代入する。
• 最適なフィットを識別するために Leave-one-out クロスバリデーションでモデル変種（約90件）を推定（彼らの基準でモデル7）
• データ/パラメータスケーリング対アルゴリズム的改善に対する進歩をShapley値風の分解で帰属する。
• トランスフォーマーの計算換算利得を gamma_T パラメータを導入して評価し、減少することになる誤りの削減量を算出する。
• 進歩の速さを定量化するために TD = (beta_data/beta_year) ln 2、TN = (alpha_param/alpha_year) ln 2、TC = (1/TN + 1/TD)^-1 を計算する。
• ロバスト性検証として、代替仕様、自己相関の制御、WT103、WT2、PTB などのデータセット間のクロスバリデーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 言語モデルの性能改善のうち、アルゴリズム的進歩と計算量・データ・パラメータのスケーリングの寄与はどの程度か。
• RQ2 固定された性能ターゲットに対して必要計算量の削減として、言語モデルの事前学習におけるアルゴリズム的進歩はどのくらい速く進んでいるか（どれだけ速く進んでいるかを測定する）。
• RQ3 トランスフォーマーは以前のアーキテクチャと比べて計算効率にどの程度寄与しているか。
• RQ4 モデルアーキテクチャ、データ品質、訓練技術は時間とともに観測される進歩にどのような影響を与えるか。

主な発見

• 効果的な計算量の中央値倍増時間は8.4カ月（95% CI 4.5–14.3カ月）。
• 素朴に外挿すると、アルゴリズム的進歩が観測通り続く場合、2014年以降に約2.2万倍の計算量があれば性能が向上していた可能性があるが、この外挿には注意が必要。
• トランスフォーマーは計算換算利得をもたらし、 frontier compute budgets において中央値で7.2×（95% CI 3.3×〜45.7×）の効率化を示し、アーキテクチャからの substantial な効率向上を示唆。
• モデル進化の対において、計算量スケーリングは時間とともにアルゴリズム的進歩よりも重要になる傾向が強く、2019年以降のLLMスケーリング重視と整合している。
• Shapley 分析は、2014年以降は計算スケーリングが性能向上に寄与してきたと示唆する一方で、トランスフォーマーとアルゴリズム的進歩も依然として有意な役割を果たしている。