[論文レビュー] The rising costs of training frontier AI models

Ben Cottier, Robi Rahman+4 more|arXiv (Cornell University)|May 31, 2024

Machine Learning and Data Classification被引用数 18

ひとこと要約

本論文は、 frontier AIモデルのトレーニングに対して3つのアプローチを用いた詳細なコストモデルを構築し、償却済みコストが2016年以降およそ年2.4倍に増加していること、モデルごとに数千万ドルが費やされ、2027年には10億ドルを超える可能性があること、R&Dスタッフが総コストの substantial portionを占めることを示している。

ABSTRACT

The costs of training frontier AI models have grown dramatically in recent years, but there is limited public data on the magnitude and growth of these expenses. This paper develops a detailed cost model to address this gap, estimating training costs using three approaches that account for hardware, energy, cloud rental, and staff expenses. The analysis reveals that the amortized cost to train the most compute-intensive models has grown precipitously at a rate of 2.4x per year since 2016 (90% CI: 2.0x to 2.9x). For key frontier models, such as GPT-4 and Gemini, the most significant expenses are AI accelerator chips and staff costs, each costing tens of millions of dollars. Other notable costs include server components (15-22%), cluster-level interconnect (9-13%), and energy consumption (2-6%). If the trend of growing development costs continues, the largest training runs will cost more than a billion dollars by 2027, meaning that only the most well-funded organizations will be able to finance frontier AI models.

研究の動機と目的

• 複数のコスト要素にわたって、フロンティアAIモデルのトレーニングコストの上昇を定量化する。
• ハードウェア、エネルギー、クラウドレンタル、R&D人材に分解して、主要な推進要因を理解する。
• コストの増大を検証し、手法間の頑健性を評価するための三つの推定アプローチを提供する。
• フロンティアAI開発のアクセス性とガバナンスへの影響を提示する。

提案手法

• 三つのコスト推定アプローチ：（i）最終トレーニング実行のための償却済みハードウェアCapEx+エネルギー、（ii）クラウドレンタル料金に基づくコスト、（iii）選択されたモデルを対象としたR&D人材と実験を含む総合的なモデル開発コスト。
• ハードウェアをAIアクセラレータ、サーバ、ネットワーキング、エネルギーに分解し、減価償却とトレーニングチップ時間を用いて償却コストを算出。
• エネルギーコストはTDP、power-to-TDP比、データセンターPUEを用いてモデル化し、年度別のエネルギー料金とベンダーデータを使用。
• 償却済みハードウェア+エネルギーとクラウドベースの推定を比較して検証; 減価償却とTPUの含有に基づく感度分析。
• GPT-3、OPT-175B、GPT-4、Gemini Ultraを含むR&Dコストの横断的評価（株式報酬とスタッフ構成を含む）。

Figure 1: Amortized hardware cost plus energy cost for the final training run of frontier models. The selected models are among the top 10 most compute-intensive for their time. Amortized hardware costs are the product of training chip-hours and a depreciated hardware cost, with 23% overhead added f

実験結果

リサーチクエスチョン

• RQ1 2016年から現在までのフロンティアモデルの償却済みトレーニングコストの成長率はどれくらいか。
• RQ2 ハードウェア、エネルギー、R&D人材がフロンティアモデルのコストのどの程度を占め、開発の過程でこの内訳はどう変化するか。
• RQ3 異なるコスト推定アプローチは大きさと傾向の点でどう比較されるか。
• RQ4 フロンティアコストの高まりがAI開発のアクセスとガバナンスに与える影響は何か。

主な発見

Approach	N× increase per year	OOMs/year	Doubling Time (months)	R-squared	N
Amortized hardware CapEx + energy	2.4 [2.0, 3.1]	0.39 [0.29, 0.48]	9 [7, 12]	0.61	45
Amortized hardware CapEx + energy—no TPUs	2.9 [2.3, 3.8]	0.47 [0.35, 0.58]	8 [6, 10]	0.77	23
Renting from the cloud	2.6 [2.1, 3.2]	0.41 [0.32, 0.51]	9 [7, 11]	0.68	40

• 2016年以降、フロンティアモデルの償却済みトレーニングコストは年率約2.4×で増加している（95%信頼区間: 2.0×〜3.1×）。
• クラウドベースのコスト推定も年率約2.6×の成長率（95%信頼区間: 2.1×〜3.2×）を示す。
• 著名モデル（GPT-3、OPT-175B、GPT-4、Gemini Ultra）では、R&Dスタッフコスト（株式報酬を含む）が総償却開発コストの29%〜49%を占める；ハードウェアコストは47%〜65%、エネルギーは2%〜6%（株式報酬を除くと: 22–33% R&D、60–74% hardware、2–7% energy）。
• 公表された最終トレーニング実行費用は数千〜数千万ドル規模（GPT-4: 約4000万ドル、Gemini Ultra: 約3000万ドル）であり、現在の成長率が続けば2027年には10億ドルを超える可能性がある。
• 取得費用（初期のハードウェア）は償却コストの1〜2桁以上高く、参入の資本的障壁を示している。
• 平均して、償却済みハードウェア+エネルギーコストの約44%がAIアクセラレータチップに、29%がサーバ、17%がインターコネクトへ割り当てられる；エネルギーコストは小さいが成長する割合で占める。

Figure 2: (Reproduction of Figure 1 for convenience.) Amortized hardware cost plus energy cost for the final training run of frontier models. The selected models are among the top 10 most compute-intensive for their time. Amortized hardware costs are the product of training chip-hours and a deprecia