[論文レビュー] Power Hungry Processing: Watts Driving the Cost of AI Deployment?

Alexandra Sasha Luccioni, Yacine Jernite+1 more|arXiv (Cornell University)|Nov 28, 2023

Machine Learning and Data Classification参考文献 45被引用数 27

ひとこと要約

この論文は、タスク特化型とマルチ目的MLモデルの推論エネルギーとカーボンを系統的に比較し、マルチ目的の生成系はタスク特化型よりも1,000回の推論あたりエネルギー消費が大幅に多いことを示している。タスクとモダリティを横断している。

ABSTRACT

Recent years have seen a surge in the popularity of commercial AI products based on generative, multi-purpose AI systems promising a unified approach to building machine learning (ML) models into technology. However, this ambition of ``generality'' comes at a steep cost to the environment, given the amount of energy these systems require and the amount of carbon that they emit. In this work, we propose the first systematic comparison of the ongoing inference cost of various categories of ML systems, covering both task-specific (i.e. finetuned models that carry out a single task) and `general-purpose' models, (i.e. those trained for multiple tasks). We measure deployment cost as the amount of energy and carbon required to perform 1,000 inferences on representative benchmark dataset using these models. We find that multi-purpose, generative architectures are orders of magnitude more expensive than task-specific systems for a variety of tasks, even when controlling for the number of model parameters. We conclude with a discussion around the current trend of deploying multi-purpose generative ML systems, and caution that their utility should be more intentionally weighed against increased costs in terms of energy and emissions. All the data from our study can be accessed via an interactive demo to carry out further exploration and analysis.

研究の動機と目的

• 多様なタスクとモダリティにわたるMLモデル推論のエネルギーとカーボン排出を評価する。
• 導入環境におけるタスク特化型とマルチ目的モデルを比較する。
• モデルサイズ、アーキテクチャ、タスクタイプが推論のエネルギーと排出に与える影響を定量化する。
• 導入時の精度と効率のトレードオフおよび政策影響について実務者への指針を提供する。

提案手法

• 5つのモダリティにわたる10タスクと30データセットを選定し、デプロイメントのユースケースを代表する88モデル（タスク特化型およびマルチ目的）を用いる。
• 固定AWSリージョン(us-west-2)でNVIDIA A100-SXM4-80GB GPUを用い、1,000回の推論あたりのエネルギーとCO2排出をCode Carbonで測定する。
• デプロイのばらつきを反映するため、バッチ処理なしで各推論セットを10回実行する。
• 選択したタスクでタスク特化モデルとマルチ目的ゼロショットモデル（Flan-T5およびBLOOMzファミリ）を比較する。
• モデルサイズ、タスクタイプ、排出量の関係を分析し、利用可能な学習/ファインチューニングデータを用いて訓練 vs. 推論コストのパリティを検討する。

Figure 1. The tasks examined in our study and the average quantity of carbon emissions they produced (in g of $CO_{2}$ ) for 1,000 queries. N.B. The y axis is in logarithmic scale.

実験結果

リサーチクエスチョン

• RQ1 さまざまなMLモデルを一般的なNLPおよびCVタスクにデプロイした場合の1,000回の推論あたりのエネルギーとカーボンコストはどの程度か。
• RQ2 タスク特化型モデルはモダリティとタスク間でマルチ目的モデルと比較して排出量がどのように異なるか。
• RQ3 モデルサイズとアーキテクチャは、タスク特化型とマルチ目的カテゴリ内でエネルギー使用と排出にどのように影響するか。
• RQ4 代表的なモデルで訓練コストと推論コストがパリティに達するのはいつか。

主な発見

• 推論のエネルギーとCO2排出は、タスクとモダリティ間で最大3桁のオーダーの差を示す。
• タスク特化型モデルは一般に1,000回の推論あたりのCO2排出がマルチ目的モデルよりはるかに少なく、特に識別的タスクと生成タスクで差が大きい。
• テキストから画像への生成や画像生成タスクは最もエネルギー・カーボン集約的であり、テキストベースのタスクは相対的に効率的。
• マルチ目的モデル内では、シーケンス対シーケンスアーキテクチャは、同程度のサイズのデコーダー中心モデルよりもエネルギー効率が高い傾向にある。
• より大きいモデルサイズは一般に排出を増加させるが、アーキテクチャ（シーケンス対デコーダ）とタスク出力長が総排出量に大きく影響する。

Figure 2. The 5 modalities examined in our study, with the number of parameters of each model on the x axis and the average amount of carbon emitted for 1000 inferences on the y axis. NB: Both axes are in logarithmic scale.