[論文レビュー] Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models

Lasse F. Wolff Anthony, Benjamin Kanding+1 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Neural Network Applications参考文献 22被引用数 203

ひとこと要約

Carbontrackerは、DLモデルのトレーニング中のエネルギー使用量と炭素排出を追跡・予測するオープンソースのPythonツールであり、予測されたフットプリントが超えられそうな場合にトレーニングを停止するよう警告することができます。

ABSTRACT

Deep learning (DL) can achieve impressive results across a wide variety of tasks, but this often comes at the cost of training models for extensive periods on specialized hardware accelerators. This energy-intensive workload has seen immense growth in recent years. Machine learning (ML) may become a significant contributor to climate change if this exponential trend continues. If practitioners are aware of their energy and carbon footprint, then they may actively take steps to reduce it whenever possible. In this work, we present Carbontracker, a tool for tracking and predicting the energy and carbon footprint of training DL models. We propose that energy and carbon footprint of model development and training is reported alongside performance metrics using tools like Carbontracker. We hope this will promote responsible computing in ML and encourage research into energy-efficient deep neural networks.

研究の動機と目的

• ML研究と実践において、パフォーマンス指標とともにエネルギーと炭素フットプリントの報告を促す。
• DLモデル訓練の環境影響を監視・予測し、必要に応じて介入して削減する実用的なツールを提供する。
• 医用画像データセット上のCNNでツールを実証し、予測精度を評価する。
• 地域別の炭素強度やハードウェア構成など、フットプリントに影響を与える要因を明示し、緩和戦略の指針とする。

提案手法

• GPU、CPU、DRAMの電力使用量をリアルタイムで測定する、Pythonベースのマルチスレッドツールを開発する。
• ユーザー指定のエポック数に対して、単純な線形モデルを用いて総訓練エネルギー消費量と炭素フットプリントを予測する。
• 予測期間の炭素強度をリアルタイムAPIで予測し、CO2eq排出量を計算する。
• 予測フットプリントが閾値を超える場合に訓練を停止できるよう介入を可能にする。
• 既存のコードベースへのプラグアンドプレイの統合を可能にし、クラスター、デスクトップ、Colabなどのクロスプラットフォーム展開をサポートする。

実験結果

リサーチクエスチョン

• RQ1 How accurately can Carbontracker predict the energy and carbon footprint of DL model training from partial monitoring?
• RQ2 What is the distribution of energy use across GPU, CPU, and DRAM components during training?
• RQ3 How do regional carbon intensities and forecast accuracy affect CO2eq estimates and recommended mitigation actions?

主な発見

• Prediction errors for energy are in the range of 4.9% to 19.1% after 1 epoch of monitoring.
• CO2eq prediction errors range from 7.3% to 19.9% for the same setup.
• Training duration predictions have 0.8% to 4.6% error across experiments.
• GPU accounts for about 50%–60% of total energy consumption, with CPU and DRAM comprising a significant share as well.
• Real-time or forecasted carbon intensity substantially improves CO2eq estimates compared with region-wide averages.
• The paper demonstrates potential emission differences across regions (e.g., Estonia vs. Sweden) and times of day, suggesting training timing and location as mitigation levers.