[論文レビュー] How to estimate carbon footprint when training deep learning models? A guide and review

Lucia Bouza Heguerte, Aurélie Bugeau+1 more|arXiv (Cornell University)|Jun 14, 2023

Green IT and Sustainability被引用数 4

ひとこと要約

この論文は、ディープラーニングモデルのトレーニング中の炭素足跡を推定するための7つのツールについて、包括的なガイドおよび比較分析を提供している。エネルギー消費量や使いやすさを含む精度を、個人用コンピュータから機関サーバーに至る多様なインフラストラクチャにおいて評価しており、トレーニングエポックの一部を測定して外挿する手法が信頼性があることを示している。同時に、特定の用途に応じたインフラストラクチャのスケーリングとツール選定の重要性を強調している。

ABSTRACT

Machine learning and deep learning models have become essential in the recent fast development of artificial intelligence in many sectors of the society. It is now widely acknowledge that the development of these models has an environmental cost that has been analyzed in many studies. Several online and software tools have been developed to track energy consumption while training machine learning models. In this paper, we propose a comprehensive introduction and comparison of these tools for AI practitioners wishing to start estimating the environmental impact of their work. We review the specific vocabulary, the technical requirements for each tool. We compare the energy consumption estimated by each tool on two deep neural networks for image processing and on different types of servers. From these experiments, we provide some advice for better choosing the right tool and infrastructure.

研究の動機と目的

• 大規模言語モデルを含め、ディープラーニングモデルのトレーニングによる環境への影響が深刻化しており、数百トンのCO2eqを排出することがあるため、これを是正すること。
• ハードウェア用語の不慣れやツール選定の難しさにより、エネルギー消費量や炭素排出量の推定に苦労するAI実務者を支援すること。
• トレーニング中の動的エネルギー消費量を測定するための7つの既存ツール（例：CodeCarbon、Eco2AI、Green-Algorithms）を評価・比較すること。
• ワットメーターを用いた実証的テストに基づき、ツール選定、インフラストラクチャ使用、測定戦略に関する実用的勧告を提供すること。
• 排出量の総合的評価を妨げる要因（例：導入段階や埋め込みエネルギーを含まない）や、より良いライフサイクル影響評価の必要性を浮き彫りにすること。

提案手法

• 本研究では、7つの炭素足跡推定ツール（Green-Algorithms、CodeCarbon、Eco2AI、CarbonTracker、Experiment-Impact-Tracker、MLCO2、Cumulator）を評価した。
• エネルギー消費量は、5つの実際のインフラストラクチャ（Labriサーバー、MAP5サーバー、Grid5000クラスタ、個人用PC、Google Colab）で物理的ワットメーターを用いて測定した。
• 2つの画像処理タスクを用いた：MNISTの数字分類（短時間、約1分）と、ImageNet検証データ上でDNCNNを用いた画像ノイズ除去（長時間、約2時間）。
• ツールの精度は、実際のワットメーター測定値と比較して評価され、ツール自体のエネルギー消費量も測定した。
• 外挿戦略を支援するため、バッチサイズ、データローディング、チェックポイント、エポック数といった主要なハイパーパrameterの影響を実験的に分析した。
• プロセスレベル測定とマシンレベル測定の違いを明確にし、ツール間での使用率やデフォルト値の違いを評価した。

実験結果

リサーチクエスチョン

• RQ1 多様なインフラストラクチャ上でディープラーニングトレーニング中のエネルギー消費量を測定する際、どの炭素足跡推定ツールが最も正確か？
• RQ2 推定ツール自体のエネルギー消費量は、炭素足跡測定の信頼性にどのように影響するか？
• RQ3 トレーニングエポックの一部を測定して外挿することで、どの程度正確な炭素足跡推定が可能か？
• RQ4 バッチサイズやエポック数といったハイパーパrameterは、測定されたエネルギー消費量やツールのパフォーマンスにどのように影響するか？
• RQ5 7つのツールの間で、測定アプローチ、デフォルト値、インフラストラクチャ互換性にどのような主な差異があるか？

主な発見

• トレーニングエポックの一部を測定して全エネルギー消費量を外挿する戦略は信頼性が高く、エネルギー消費量がエポック間で比較的一定であることが理由である。
• 推定ツール自体のエネルギー消費量は小さいが、大規模な実験では無視できないものであり、一部のツールは2時間のトレーニング実行中に最大0.15kWhを消費することがわかった。
• アイドルパワー、CPU/GPU使用率、使用率要因のモデル化・適用方法の違いにより、ツール間での炭素足跡推定値に顕著な差が生じた。
• プロセスレベル消費量のみを推定するツール（例：CodeCarbon、Eco2AI）は、特にリソースが未利用の状態で運用されているシステムでは、マシン全体の消費量を測定するツールよりも低い値を報告する傾向にある。
• ツールの選定は、インフラストラクチャの種別と測定目的（プロセスレベル vs. ノード全体の監視）に応じて行われるべきである。
• 本研究では、リソースが未利用の状態でトレーニングを行うと、炭素排出量が増加することを確認しており、適切なスケーリングされたリソースの選定の重要性を裏付けた。