[論文レビュー] Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models

Lasse F. Wolff Anthony, Benjamin Kanding+1 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Neural Network Applications参考文献 22被引用数 114

ひとこと要約

Carbontrackerは、DLモデルの訓練中のエネルギー使用量とCO2排出を追跡・予測するオープンソースのPythonツールで、フットプリントを削減するための積極的な手段を可能にします。

ABSTRACT

Deep learning (DL) can achieve impressive results across a wide variety of tasks, but this often comes at the cost of training models for extensive periods on specialized hardware accelerators. This energy-intensive workload has seen immense growth in recent years. Machine learning (ML) may become a significant contributor to climate change if this exponential trend continues. If practitioners are aware of their energy and carbon footprint, then they may actively take steps to reduce it whenever possible. In this work, we present Carbontracker, a tool for tracking and predicting the energy and carbon footprint of training DL models. We propose that energy and carbon footprint of model development and training is reported alongside performance metrics using tools like Carbontracker. We hope this will promote responsible computing in ML and encourage research into energy-efficient deep neural networks.

研究の動機と目的

• ML研究において、パフォーマンス指標とともにエネルギーと炭素フットプリントの報告を動機づける。
• DL訓練中の電力を監視し排出量を予測する、Pythonベースで統合が容易なツールを開発する。
• 予測される環境コストが高い場合に、事前に止める等の積極的な意思決定を可能にする。
• トレーニングの中断を最小限に抑えつつ、複数の環境（クラスター、デスクトップ、Colab）をサポートする。

提案手法

• Carbontrackerは、NVMLとIntel RAPLインターフェイスを用いてGPU、CPU、DRAMの電力使用を監視するマルチスレッドPythonツールです。
• ユーザーが指定したエポック数で、単純な線形モデルを用いて総持続時間、エネルギー、炭素フットプリントを予測します。
• リアルタイムまたは予測されたカーボン強度をAPI経由で取得し、エネルギー使用量をCO2eq排出量に換算します。
• データセンターのオーバーヘッドを含む総エネルギー消費を推定するためにPUEベースのスケーリングを使用します。
• 実装にはロギング、モジュール式パーサ、訓練スクリプト内のプラグアンドプレー設定が含まれます。

実験結果

リサーチクエスチョン

• RQ1 エポックの一部を監視した後の、エネルギー、炭素フットプリント、訓練時間のcarbontrackerの予測精度はどの程度か。
• RQ2 地域別カーボン強度が予測排出量にどう影響し、予測が訓練のタイミングや場所の指針となるか。
• RQ3 DLモデル訓練中の総エネルギー消費に対するGPU、CPU、DRAMの相対的寄与はどれくらいか。
• RQ4 Carbontrackerは、モデル性能を損なうことなく排出を実質的に削減する介入（例：早期停止）を可能にするか。

主な発見

• エネルギーの予測誤差：構成に跨って1エポック後、4.9%〜19.1%。
• CO2eqの予測誤差：構成に跨って1エポック後、7.3%〜19.9%。
• 訓練時間の予測誤差：構成に跨って1エポック後、0.8%〜4.6%。
• GPUは総エネルギーのおよそ50–60%を占め、CPUとDRAMもかなりの割合を占める。
• 指定されたCNNと医療データセットを用いてTITAN RTX (12 GB) でモデルを訓練した場合、実験全体で推定37.445 kWhと3.166 kg CO2eqとなった。