[論文レビュー] Measuring the Carbon Intensity of AI in Cloud Instances

Jesse Dodge, Taylor Prewitt+8 more|arXiv (Cornell University)|Jun 10, 2022

Green IT and Sustainability被引用数 11

ひとこと要約

本論文は、クラウドプラットフォームにおけるAIワークロードのリアルタイムな炭素強度を、場所および時間に特化した限界排出係数データを用いて測定するフレームワークを提案する。低炭素地域の選定や計算タイミングの最適化により、排出量を最大70％まで削減可能であることを示しており、クラウド環境におけるAIトレーニングおよびインフェンスの環境的影響を最小化するための実行可能な戦略を提供する。

ABSTRACT

By providing unprecedented access to computational resources, cloud computing has enabled rapid growth in technologies such as machine learning, the computational demands of which incur a high energy cost and a commensurate carbon footprint. As a result, recent scholarship has called for better estimates of the greenhouse gas impact of AI: data scientists today do not have easy or reliable access to measurements of this information, precluding development of actionable tactics. Cloud providers presenting information about software carbon intensity to users is a fundamental stepping stone towards minimizing emissions. In this paper, we provide a framework for measuring software carbon intensity, and propose to measure operational carbon emissions by using location-based and time-specific marginal emissions data per energy unit. We provide measurements of operational software carbon intensity for a set of modern models for natural language processing and computer vision, and a wide range of model sizes, including pretraining of a 6.1 billion parameter language model. We then evaluate a suite of approaches for reducing emissions on the Microsoft Azure cloud compute platform: using cloud instances in different geographic regions, using cloud instances at different times of day, and dynamically pausing cloud instances when the marginal carbon intensity is above a certain threshold. We confirm previous results that the geographic region of the data center plays a significant role in the carbon intensity for a given cloud instance, and find that choosing an appropriate region can have the largest operational emissions reduction impact. We also show that the time of day has notable impact on operational software carbon intensity. Finally, we conclude with recommendations for how machine learning practitioners can use software carbon intensity information to reduce environmental impact.

研究の動機と目的

• クラウドコンピューティング環境におけるAIワークロードの運用炭素強度を、実用的でリアルタイムな方法で測定すること。
• 機械学習の実践者にとってアクセス可能で信頼性のある炭素フットプリントデータの不足が、排出削減活動を阻害しているという問題に取り組むこと。
• 低炭素地域の選定や低炭素期間中のワークロードスケジューリングといった、空間的および時間的戦略がAIの環境的影響をどのように軽減できるかを評価すること。
• クラウドプロバイダーがユーザーにソフトウェア炭素強度データを公開することで、持続可能な意思決定を可能にすることを提唱すること。
• 従来の帰属的アプローチに代わって、結果的影響に基づく限界排出係数のアプローチを支援する、更新された炭素会計基準の必要性を訴えること。

提案手法

• フレームワークは、kWhあたりの場所別・時間別限界排出係数（LME）を用いて、クラウドインスタンスのリアルタイムな炭素強度を推定する。
• このLMEレートを、マイクロソフトAzure上での多様なモデルおよびクラウドインスタンスにおける実際のAIトレーニングおよびインフェンスワークロードに適用する。
• ソフトウェア炭素強度（SCI）は、計算エネルギー消費量と、その時間および場所における限界グリッド排出係数の積として計算される。
• 排出削減は、異なる地理的地域の選定、1日中の異なる時間帯でのワークロードスケジューリング、および限界排出係数がしきい値を超えた際にインスタンスを一時停止する動的ポーリングの3つの戦略を通じて評価される。
• リアルタイムな炭素推定を可能にするために、WattTimeなどの公開済みLMEデータを活用する。
• このフレームワークは、クラウドベースのAIワークロードの運用炭素排出量を推定・報告するツールとして実装されている。

実験結果

リサーチクエスチョン

• RQ1 クラウドプラットフォーム上で実行されるAIワークロードのリアルタイムな炭素強度を、どのように正確に測定できるか？
• RQ2 クラウドデータセンターの地理的場所が、AI計算の炭素強度にどの程度影響を与えるか？
• RQ3 1日中の時間帯が、クラウドベースのAIワークロードの炭素強度にどのように影響するか？
• RQ4 リアルタイム排出係数データに基づく動的ワークロードスケジューリングは、AIトレーニングおよびインフェンスの炭素フットプリントを削減できるか？
• RQ5 クラウドプロバイダーとユーザーは、透明性と戦略的リソース配分を通じて、AIの運用炭素排出量をどのように低減できるか？

主な発見

• クラウドデータセンターの地理的場所が運用炭素強度に最も大きな影響を与え、高炭素地域と低炭素地域で最大70％の差が生じる。
• 1日中の時間帯が炭素強度に顕著に影響を与え、特に再生可能エネルギーの不安定性が著しい地域では、グリッド負荷の変動に起因して朝と夕方のピークが生じる。
• 太陽光が豊富な地域では正午ごろ、風力が豊富な地域では夜間にワークロードをスケジューリングすることで、ピーク時と比較して排出量を最大50％まで削減可能である。
• 限界排出係数がしきい値を超えた際にクラウドインスタンスを一時停止する動的ポーリングは、顕著な削減効果をもたらすことがあり、特に地域的および時間的最適化と組み合わせると顕著になる。
• 本研究は、平均値や地域グリッド平均値よりも、限界排出係数（LME）が炭素影響をより正確かつ実行可能に測定できると確認した。
• 現在のGHGPスコープ2会計フレームワークは、結果的影響に基づくリアルタイム炭素推定と不適合であることが判明し、AIの炭素報告における更新された基準の必要性が浮き彫りになった。