[論文レビュー] The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink

David A. Patterson, Joseph E. Gonzalez+8 more|arXiv (Cornell University)|Apr 11, 2022

Environmental Impact and Sustainability被引用数 9

ひとこと要約

この論文は、モデルの pruning や量子化、および効率的なハードウェアといったエネルギー効率の best practices の広範な採用により、機械学習（ML）のトレーニングにおける炭素足跡が、ピークに達し、やがて縮小するだろうと主張している。これにより、エネルギー消費は最大100倍まで削減され、CO2排出量は最大1000倍まで削減される。グーグルでは、MLトレーニングのエネルギー消費が3年間、合計エネルギー消費の15％未満で安定している。著者らは、ML論文における排出量報告を義務化することで、正確な会計と気候に配慮したイノベーションを促進すべきだと提言している。

ABSTRACT

Machine Learning (ML) workloads have rapidly grown in importance, but raised concerns about their carbon footprint. Four best practices can reduce ML training energy by up to 100x and CO2 emissions up to 1000x. By following best practices, overall ML energy use (across research, development, and production) held steady at <15% of Google's total energy use for the past three years. If the whole ML field were to adopt best practices, total carbon emissions from training would reduce. Hence, we recommend that ML papers include emissions explicitly to foster competition on more than just model quality. Estimates of emissions in papers that omitted them have been off 100x-100,000x, so publishing emissions has the added benefit of ensuring accurate accounting. Given the importance of climate change, we must get the numbers right to make certain that we work on its biggest challenges.

研究の動機と目的

• MLトレーニングの環境的影響、特に炭素足跡に関する懸念を軽減すること。
• 特にグーグルのような大規模な産業環境において、効率化の進展によりMLのエネルギー消費が安定していることを示すこと。
• ML研究論文における炭素排出量の報告を義務化することで、モデルの正確性を超えた公平な比較を可能にすること。
• モデルの pruning、量子化、効率的なハードウェアの広範な採用を通じて、環境への影響を低減すること。

提案手法

• 著者らは、グーグルにおけるエネルギー消費の傾向を分析し、MLトレーニングのエネルギー消費が3年間、合計エネルギー消費の15％未満で安定していることを確認した。
• 4つの主要なベストプラクティス（モデルの pruning、量子化、効率的なハードウェア活用、アルゴリズム最適化）を特定・評価した。
• これらの実践の影響を定量的に評価し、エネルギー消費を最大100倍まで削減、CO2排出量を最大1000倍まで削減できることを示した。
• ML論文における標準化された排出量報告フレームワークを提案し、トレーニングごとのCO2当量などの指標を用いた。
• 排出量推定値の乖離を分析し、排出量データを報告しない論文は、しばしば100倍から100,000倍の誤差を示していることを明らかにした。
• グーグルのMLトレーニングパイプラインからの実世界のデータを用いて、エネルギーと排出量の長期的傾向を予測した。

実験結果

リサーチクエスチョン

• RQ1 体系的な効率化ベストプラクティスの採用により、MLトレーニングの炭素足跡を著しく削減できるか？
• RQ2 モデルの複雑さが増しているにもかかわらず、なぜグーグルではMLのエネルギー消費が安定しているのか？
• RQ3 排出量を報告しないML論文の排出量推定値はどれほど不正確で、その結果は何か？
• RQ4 ML論文における排出量報告の義務化が、研究のインcentivesと環境への責任に与える影響は何か？
• RQ5 技術的・手続的変更を通じて、MLコミュニティが炭素排出量の持続的削減を達成できるか？

主な発見

• グーグルにおけるMLトレーニングのエネルギー消費は、過去3年間、会社全体のエネルギー消費の15％未満で安定しており、成長のピークに達していることが示された。
• ベストプラクティスの採用により、MLトレーニングのエネルギー消費は最大100倍まで削減され、CO2排出量は最大1000倍まで削減できる。
• 排出量を報告しない論文では、推定値が100倍から100,000倍の誤差を示すことが多く、透明性の必要性が浮き彫りになった。
• 効率化実践の広範な採用が継続されれば、MLトレーニングの炭素足跡は将来的に縮小すると予測される。
• ML論文における排出量報告の義務化は、正確性の向上、持続可能性に関する競争の促進、気候に配慮した研究の優先順位付けを可能にする。