[論文レビュー] Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning

Peter Henderson, Jie‐Ru Hu+4 more|arXiv (Cornell University)|Jan 31, 2020

Green IT and Sustainability被引用数 306

ひとこと要約

本論文は、MLのリアルタイムなエネルギー、計算、カーボン算定のための軽量でモジュール化されたフレームワーク（experiment-impact-tracker）を提案し、ケーススタディでの活用を示し、エネルギー指標のリーダーボードや地域別テストなどの実践を推奨して、排出量を削減する。

ABSTRACT

Accurate reporting of energy and carbon usage is essential for understanding the potential climate impacts of machine learning research. We introduce a framework that makes this easier by providing a simple interface for tracking realtime energy consumption and carbon emissions, as well as generating standardized online appendices. Utilizing this framework, we create a leaderboard for energy efficient reinforcement learning algorithms to incentivize responsible research in this area as an example for other areas of machine learning. Finally, based on case studies using our framework, we propose strategies for mitigation of carbon emissions and reduction of energy consumption. By making accounting easier, we hope to further the sustainable development of machine learning experiments and spur more research into energy efficient algorithms.

研究の動機と目的

• ML研究における正確で体系的なエネルギーとカーボン算出の必要性を動機づける。
• 各実験ごとにエネルギー、計算量、カーボンフットプリントを追跡する軽量で拡張可能なフレームワークを提案する。
• 実証的な研究を通じてフレームワークを示し、緩和と報告の推奨事項を導出する。

提案手法

• CPU/GPU、Python環境、電力ツールからメトリクスを収集するモジュール型データルーターとしてexperiment-impact-trackerを導入し、追跡データからオンライン追加資料を生成する。
• Compute total energy using etotal = PUE × Σ(pdramedram + pcpuecpu + pgpuegpu)として計算し、共有ハードウェア上のプロセスごとのエネルギーを割り当てる。
• 地域グリッドデータ（例: electricitymap）およびCAISOのリアルタイムデータから炭素強度を取得し、CO2eq排出量を算定する。
• 各実験ごとのカーボン影響声明（社会的コスト含む）と自動化されたWebベースの補遺を提供する。
• エネルギー効率の高いRL手法を奨励するためのreinforcement Learning Energy Leaderboardを強調する。
• FLOPs（FPOs）がアーキテクチャ間でエネルギー使用量を信頼性高く予測しないことを分析し、同一アーキテクチャ内ではエネルギーと時間により強い相関を示すことを示す。）

実験結果

リサーチクエスチョン

• RQ1 ML実験を軽量で再現可能な方法でエネルギーとカーボン影響を追跡するにはどうすればよいか？
• RQ2 共通の効率指標（例: FLOPs）はアーキテクチャ間および同一アーキテクチャ内の実際のエネルギー消費とどの程度相関するか？
• RQ3 エネルギー使用と排出を削減する実践的戦略（リーダーボード、地域テスト、再現性の実践）は何か？

主な発見

• フレームワークはエネルギー、CPU/GPU電力の動的取得、実プロセス資源配分、オンライン追加資料の自動生成を容易に記録できる。
• アーキテクチャを跨いで、FLOPsはエネルギーや実行時間と強く相関しない。単一アーキテクチャ内ではFLOPsはエネルギーと時間に強く相関する（例: VGGのFLOPsでR2≈1.0）。
• 論文は実験からの具体的なカーボンフットプリントの例を報告: 8.021 kg CO2eqと24.344 kWhを消費し、米国特有の社会的コストは$0.38。
• 地域別カーボン強度はCO2排出量に大きな変動をもたらす可能性がある。RL実験では排出量は地域によって異なり、グリッドミックスに基づくと最大で約30倍の差があり得る。
• このフレームワークはシステム的な変革を提唱している：エネルギー効率の高いリーダーボード、実験の地域選択によるカーボン回避、オーバーヘッドの削減、エネルギー-性能のトレードオフ、エネルギーとカーボン指標の一貫した報告。