[論文レビュー] Toward Sustainable GenAI using Generation Directives for Carbon-Friendly Large Language Model Inference

Baolin Li, Yankai Jiang+2 more|arXiv (Cornell University)|Mar 19, 2024

Topic Modeling被引用数 5

ひとこと要約

Sproutは生成ディレクティブと線形計画法オプティマイザを導入し、生成長を指示することでLLM推論の炭素排出を抑制しつつ品質を維持します。実世界のテスト（Llama2 13B）で40％超の排出削減を達成しました。

ABSTRACT

The rapid advancement of Generative Artificial Intelligence (GenAI) across diverse sectors raises significant environmental concerns, notably the carbon emissions from their cloud and high performance computing (HPC) infrastructure. This paper presents Sprout, an innovative framework designed to address these concerns by reducing the carbon footprint of generative Large Language Model (LLM) inference services. Sprout leverages the innovative concept of "generation directives" to guide the autoregressive generation process, thereby enhancing carbon efficiency. Our proposed method meticulously balances the need for ecological sustainability with the demand for high-quality generation outcomes. Employing a directive optimizer for the strategic assignment of generation directives to user prompts and an original offline quality evaluator, Sprout demonstrates a significant reduction in carbon emissions by over 40% in real-world evaluations using the Llama2 LLM and global electricity grid data. This research marks a critical step toward aligning AI technology with sustainable practices, highlighting the potential for mitigating environmental impacts in the rapidly expanding domain of generative artificial intelligence.

研究の動機と目的

• GenAI推論の環境影響を動機づけ、定量化し、モデルサイズ削減を超える炭素排出削減の機会を特定する。
• トークン生成と排出へ影響を与える新たな制御機構として生成ディレクティブを導入する。
• さまざまなグリッド炭素強度の下で、炭素節約と生成品質の維持をバランスさせるシステム全体の最適化を開発する。
• SproutをLlama2 13Bと実データの電力グリッドデータでプロトタイプ化し、炭素削減と出力品質の維持を実証する。

提案手法

• 自己回帰型LLM推論中のトークン生成を制約またはガイドする生成ディレクティブレベルを定義する。
• プロンプト全体でディレクティブレベルの確率を選択することにより、推論ごとの期待炭素排出量を最小化する線形計画法最適化問題を定式化する。
• 自動評価LLMを用いたオフライン品質評価器を組み込み、ディレクティブ使用を制約する品質嗜好ベクトルを生成する。
• 炭素強度の低い期間に評価を誘発する機会主義的なオフライン品質評価スケジュールを実装し、追加排出を最小化する。
• 既存の推論サーバとSproutを統合し、指示用のシステムプロンプトとCarbonTrackerによるログ取りで、オプティマイザ用のeとpベクトルを算出します。

Figure 1: The auto-regressive generation process of generative language model inference.

実験結果

リサーチクエスチョン

• RQ1 生成されるトークン数は、モデルサイズとは独立してLLM推論の炭素フットプリントにどう影響するか？
• RQ2 生成ディレクティブは、タスク全体で生成品質を大幅に損なうことなく生成を導くことで排出を削減できるか？
• RQ3 システム全体の確率的ディレクティブ方針が、各プロンプトごとの最適ディレクティブを近似しつつ、ハイスループット設定で現実的であり得るか？
• RQ4 グリッド炭素強度に適応したカーボン配慮型最適化が、排出制約下で品質を維持する効果はどの程度か？

主な発見

• 生成ディレクティブは高品質な出力を維持しつつトークン生成長を短縮し、炭素節約を可能にする。
• 簡潔なディレクティブ（L1）を用いた13Bモデルは、ベースライン付き7Bモデルより炭素効率と正確性の両方で上回る。
• SproutはLlama2 13Bと全球の電力グリッドデータを用いた実世界評価で推論排出を40％超削減。
• 最適化問題は線形で、HiGHS dual simplexソルバーを用いてシステム全体のディレクティブ確率を計算できる。
• 品質フィードバックはオフラインの自動評価LLMを介して取得され、オンライン推論の遅延影響なしに制約付き最適化を可能にする。

Figure 2: Two factors that impact a request’s carbon footprint during LLM inference: (a) the number of model parameters and (b) the number of generated tokens.