[論文レビュー] LLMCO2: Advancing Accurate Carbon Footprint Prediction for LLM Inferences

Zhenxiao Fu, Fan Chen+3 more|arXiv (Cornell University)|Oct 3, 2024

Data Quality and Management被引用数 4

ひとこと要約

LLMCO2 は、自己回帰的プレフィルとデコード段階を別々にモデル化し、ハードウェア固有の Roofline パフォーマンスを組み込み、一般的な推論設定の集中的なサンプリングを実施する GNN ベースのモデルを導入することで、大規模言語モデル（LLM）の推論における炭素足跡を正確に予測する。既存手法よりも予測精度を 51%〜123% 向上させ、最先端のベースラインと比較して 10% の誤差における誤差境界精度（EBA）が 123% 高い。

ABSTRACT

Throughout its lifecycle, a large language model (LLM) generates a substantially larger carbon footprint during inference than training. LLM inference requests vary in batch size, prompt length, and token generation number, while cloud providers employ different GPU types and quantities to meet diverse service-level objectives for accuracy and latency. It is crucial for both users and cloud providers to have a tool that quickly and accurately estimates the carbon impact of LLM inferences based on a combination of inference request and hardware configurations before execution. Estimating the carbon footprint of LLM inferences is more complex than training due to lower and highly variable model FLOPS utilization, rendering previous equation-based models inaccurate. Additionally, existing machine learning (ML) prediction methods either lack accuracy or demand extensive training data, as they inadequately handle the distinct prefill and decode phases, overlook hardware-specific features, and inefficiently sample uncommon inference configurations. We introduce \coo, a graph neural network (GNN)-based model that greatly improves the accuracy of LLM inference carbon footprint predictions compared to previous methods.

研究の動機と目的

• 推論における炭素足跡の正確でリアルタイムな推定ツールの不足に応えること。これは、FLOPS 利用率の変動と自己回帰的動作のため、学習よりも複雑であるため。
• 既存の式ベースおよび機械学習ベースのモデルが、明確に異なるプレフィル／デコード段階、ハードウェア固有の特徴、実世界の設定分布を捉えられていないという制限を克服すること。
• ユーザーおよびクラウドプロバイダーが推論実行前に遅延、精度、炭素排出量のトレードオフを評価できる、スケーラブルで高精度な予測モデルを開発すること。
• 的確なデータサンプリングとグラフベースのモデリングを通じて、多様な LLM アーキテクチャ、GPU 型番、一般的な推論設定（例：小規模バッチサイズ、短いプロンプト）における予測信頼性を向上させること。

提案手法

• LLMCO2 は、各トランスフォーマー層のカーネルをグラフとして表現する新規なグラフ埋め込み技術を採用。ノードはカーネル、エッジはデータ依存関係を表す。
• プレフィル段階とデコード段階のそれぞれに別々のノード特徴エンコーディングを適用し、その計算的特性の差をモデル化する。
• GPU のピークスループット、メモリ帯域幅、ネットワーク帯域幅といったハードウェア固有の特徴を、Roofline パフォーマンス指標を介して組み込み、異なる GPU プラットフォーム間での一般化を向上させる。
• 実世界の設定に焦点を当てたデータサンプリング戦略を採用。具体的には、小規模バッチサイズ、短いプロンプト、限定的なトークン生成を優先することで、一般的な推論ワークロードにおけるモデル性能を向上させる。
• GNN ベースの回帰モデルは、入力設定（プロンプト長、バッチサイズ、生成トークン数）と炭素排出量の関係を学習し、推論時における高速な予測を可能にする。
• モデルは、複数の LLM（例：Bloom、Gemma、Mixtral）と GPU（例：A100、L4、T4）を対象としたエネルギー測定データのキュレートされたデータセット上で訓練され、運用エネルギーと炭素オーバーヘッドに重点を置いている。

Figure 1: A decoder-only LLM’s autoregressive inference consists of prefill and decode phases.

実験結果

リサーチクエスチョン

• RQ1 プレフィル段階とデコード段階を別々にモデル化することで、LLM 推論の炭素足跡予測はどの程度向上するか？
• RQ2 GPU のスループットやメモリ帯域幅といったハードウェア固有の特徴は、多様な GPU プラットフォーム間で予測精度をどの程度向上させるか？
• RQ3 一般的な推論設定の集中的なサンプリングは、実世界ワークロードにおけるモデルの一般化性と精度を向上させるか？
• RQ4 GNN ベースのアプローチは、既存の機械学習および式ベースのモデルと比較して、LLM 推論の炭素排出量予測においてどの程度優れているか？
• RQ5 アーキテクチャ的・設定的多様性（例：バッチサイズ、プロンプト長、モデルサイズ）は、炭素足跡予測精度にどのような影響を及えるか？

主な発見

• LLMCO2 は、多様な LLM と GPU の設定において、既存の機械学習ベースのエネルギー予測器よりも予測精度を 51%〜123% 向上させた。
• 全テストモデルにおいて、次善のベースラインである NNLQP と比較して、10% の誤差における誤差境界精度（EBA）が 123% 高く、平均で 45.7% の EBA(10%) を達成。Bloom では最高で 60%、Qwen2 では 53.1% の個別スコアを記録し、優れた一般化性能を示した。
• プレフィルとデコード段階を別々にモデル化することで、統合段階アプローチに比べて EBA(10%) が 67% 向上し、段階別設計の重要性が顕著に示された。
• ノード特徴として Roofline パフォーマンスを組み込むことで、EBA(10%) が 13.1% 向上し、L4 や T4 といった異なる GPU 型番間での知識移行性が向上した。
• 集中的なサンプリング戦略が最も寄与し、NNLQP と比較して EBA(10%) を 123% 向上させた。これは、実世界の使用状況に合わせたデータ分布の整合性がモデル性能を向上させる証明である。

Figure 2: Comparing the energy of 2 phases in a Bloom-3B inference on an Nvidia L4 GPU.