[論文レビュー] Compute Trends Across Three Eras of Machine Learning

Jaime Sevilla, Lennart Heim+4 more|arXiv (Cornell University)|Feb 11, 2022

Machine Learning and Data Classification参考文献 112被引用数 40

ひとこと要約

本論文は、トレーニング計算量（FLOPs）が3つの時代—Pre Deep Learning、Deep Learning、Large-Scale—を通じてどのように進化したかを分析し、異なる倍増時間と遅れて出現する大規模モデルの別個の傾向を明らかにしている。

ABSTRACT

Compute, data, and algorithmic advances are the three fundamental factors that guide the progress of modern Machine Learning (ML). In this paper we study trends in the most readily quantified factor - compute. We show that before 2010 training compute grew in line with Moore's law, doubling roughly every 20 months. Since the advent of Deep Learning in the early 2010s, the scaling of training compute has accelerated, doubling approximately every 6 months. In late 2015, a new trend emerged as firms developed large-scale ML models with 10 to 100-fold larger requirements in training compute. Based on these observations we split the history of compute in ML into three eras: the Pre Deep Learning Era, the Deep Learning Era and the Large-Scale Era. Overall, our work highlights the fast-growing compute requirements for training advanced ML systems.

研究の動機と目的

• トレーニング計算量データを含むマイルストーンMLシステムのデータセットを作成する。
• MLにおける計算成長の明確な時代を識別し特徴づける。
• 計算の倍増時間の推定値を提供し、ハードウェアと研究の動機づけへの影響を論じる。

提案手法

• トレーニング計算量注釈付きの123のマイルストーンMLモデルのデータセットを作成する。
• 時間の経過に伴うトレーニング計算量（FLOPs）に対して対数線形モデルを適合させ、倍増時間を推定する。
• 歴史をPre Deep Learning、Deep Learning、Large-Scaleの時代にセグメント化し、勾配と適合品質を比較する。
• 代替解釈とドメイン差異に対処する補足資料を用いて結果をクロス検証する。

実験結果

リサーチクエスチョン

• RQ1 Deep Learning登場前後のトレーニング計算量の成長率（倍増時間）はどれくらいか？
• RQ2 2015–2016年頃に明確なLarge-Scale時代が出現するか、そしてそれは通常規模の計算成長とどう異なるか？
• RQ3 同定された傾向はMilestone MLモデルデータにどれだけ適合し、推定値にはどの程度の不確実性が存在するか？

主な発見

期間	データ（FLOPs 開始–終了）	スケール	勾配（OOMs/年）	倍増時間	R²
1952 to 2010	3e+04 to 2e+14	Pre Deep Learning	0.2	21.3 months	0.77

• Pre Deep Learning時代は、計算量がほぼムーアの法則に沿って増加し、約21か月ごとに倍増する（1952–2010）。
• Deep Learning時代は計算成長の速度を約5–6か月の倍増時間へと加速させる（2010–2022）。
• Large-Scale時代は2015–2016年頃に出現し、以前の傾向を超えるモデルが出現し、約10か月ごとに倍増する（2015年後半–2022）。
• 全体として、三つの時代は計算トレンドの不連続性を捉え、先進的なMLシステムに対する計算需要の高まりを際立たせる。