[論文レビュー] LLMCarbon: Modeling the end-to-end Carbon Footprint of Large Language Models

Ahmad Faiz, Sotaro Kaneda+5 more|arXiv (Cornell University)|Sep 25, 2023

Topic Modeling被引用数 33

ひとこと要約

LLMCarbon は dense および MoE LLMs の運用と実体炭素フットプリントのエンドツーエンド予測を提供し、mlco2 より正確さを向上させ、訓練、推論、実験、保管をカバーします。

ABSTRACT

The carbon footprint associated with large language models (LLMs) is a significant concern, encompassing emissions from their training, inference, experimentation, and storage processes, including operational and embodied carbon emissions. An essential aspect is accurately estimating the carbon impact of emerging LLMs even before their training, which heavily relies on GPU usage. Existing studies have reported the carbon footprint of LLM training, but only one tool, mlco2, can predict the carbon footprint of new neural networks prior to physical training. However, mlco2 has several serious limitations. It cannot extend its estimation to dense or mixture-of-experts (MoE) LLMs, disregards critical architectural parameters, focuses solely on GPUs, and cannot model embodied carbon footprints. Addressing these gaps, we introduce extit{\carb}, an end-to-end carbon footprint projection model designed for both dense and MoE LLMs. Compared to mlco2, \carb~significantly enhances the accuracy of carbon footprint estimations for various LLMs. The source code is released at \url{https://github.com/SotaroKaneda/MLCarbon}.

研究の動機と目的

• 成長する LLMs の環境影響を削減する動機付けとして、エンドツーエンドの炭素フットプリント予測を可能にする。
• Dense と MoE LLMs のアーキテクチャ、ハードウェア、データセンター要因を考慮したモデルを提案する。
• 訓練、推論、実験、保管を含む運用炭素と体現炭素のエンドツーエンド推定を提供する。
• 設計空間探索を可能にし、設計時のテスト損失と炭素フットプリントをトレードオフする。

提案手法

• 入力駆動の予測モデルを導入し、アーキテクチャから LLM パラメータ数を導出するか、直接受け取ることができる。
• Neural scaling (Chinchilla) を用いて、LLM パラメータと訓練トークンからテスト損失を推定する。式: L(L,P,D)=A/P^α + B/D^β + E
• FLOP モデルを用いてトレーニングおよび推論作業を推定するための FLOPs を計算する (TC と IC)。
• 最適化されたデータ/テンソル/パイプライン/エキスパート並列性を横断する実効スループットをピークスループットで割って、ハードウェア効率を現実的なスループットとしてモデル化し、運用コストを導く。
• エネルギー使用量とデータセンターのカーボン強度から運用炭素を、チップ面積と CPA（carbon per unit area）から体現炭素を計算する。
• 運用炭素と体現炭素を合算して LLM の総 CO2eq を得る。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのモデルは、dense および MoE LLMs の運用および体現炭素フットプリントをどれだけ正確に予測できるか。
• RQ2 アーキテクチャの選択肢（パラメータ数、MoE 対 dense）とハードウェア構成は、予測炭素フットプリントとテスト損失のトレードオフにどのように影響するか。
• RQ3 LLMCarbon は訓練、推論、保管、実験の各フェーズで炭素フットプリントを予測できるか、また mlco2 のような既存ツールと比較してどうか。
• RQ4 最適な並列性設定や新しいアクセラレータを適用した場合の炭素削減の可能性はどれほどか。

主な発見

• LLMCarbon の訓練運用炭素フットプリントの予測は、五つの LLM にわたる公表データと比べて ≤ 8.2% の差にとどまる。
• ML Carbon は MoE および dense アーキテクチャと体現炭素予測の捕捉で mlco2 より優れている。
• 推論フットプリントの予測は報告値と近く一致しており、例えば GPT-3 推論ケースでは運用炭素の差が ≤3.3%。
• 体現炭素の Meta XLM との検証は 512 GPU ケーススタディで −3.05% の乖離。
• ケーススタディは、体現炭素がライフサイクル排出の substantial portion を占める可能性を示し、最適な並列性で運用炭素を 16%–39% 削減できることを示唆。
• 新しいアクセラレータ（例: H100, TPUv4）は運用フットプリントを大幅に削減する一方、体現フットプリントは類似のまま。