[論文レビュー] How Green Can AI Be? A Study of Trends in Machine Learning Environmental Impacts

Clément Morand, Anne‐Laure Ligozat+1 more|arXiv (Cornell University)|Dec 23, 2024

Air Quality Monitoring and Forecasting被引用数 4

ひとこと要約

本研究は、2013年から2023年までの機械学習モデルのトレーニングおよびグラフィックスカードの製造に伴う環境影響を分析し、効率改善や低炭素地域への拠点移転といった戦略にもかかわらず、ハードウェア製造およびトレーニングのエネルギー消費が指数関数的に増加していることを明らかにした。効率化の恩恵がより大きなモデルの構築を促進する「リバウンド効果」が、環境影響低減を損なう要因となっており、AIの環境負荷を抑制するには、AIの規模自体を縮小する必要があることが示唆された。

ABSTRACT

The compute requirements associated with training Artificial Intelligence (AI) models have increased exponentially over time. Optimisation strategies aim to reduce the energy consumption and environmental impacts associated with AI, possibly shifting impacts from the use phase to the manufacturing phase in the life-cycle of hardware. This paper investigates the evolution of individual graphics cards production impacts and of the environmental impacts associated with training Machine Learning (ML) models over time. We collect information on graphics cards used to train ML models and released between 2013 and 2023. We assess the environmental impacts associated with the production of each card to visualize the trends on the same period. Then, using information on notable AI systems from the Epoch AI dataset we assess the environmental impacts associated with training each system. The environmental impacts of graphics cards production have increased continuously. The energy consumption and environmental impacts associated with training models have increased exponentially, even when considering reduction strategies such as location shifting to places with less carbon intensive electricity mixes. These results suggest that current impact reduction strategies cannot curb the growth in the environmental impacts of AI. This is consistent with rebound effect, where the efficiency increases fuel the creation of even larger models thereby cancelling the potential impact reduction. Furthermore, these results highlight the importance of considering the impacts of hardware over the entire life-cycle rather than the sole usage phase in order to avoid impact shifting. The environmental impact of AI cannot be reduced without reducing AI activities as well as increasing efficiency.

研究の動機と目的

• 2013年から2023年までの間におけるグラフィックスカードの製造に伴う環境影響の変化を評価すること。
• 実世界のデータを用いて、同じ期間における機械学習モデルのトレーニングに伴う環境負荷を分析すること。
• ハードウェアのアップグレードや拠点移転といった、現在の環境負荷低減戦略の有効性を評価すること。
• リバウンド効果および影響のシフトが、AI分野における環境的成果を損なう役割を果たすメカニズムを調査すること。

提案手法

• 2013年から2023年までに発売されたNVIDIAワークステーション用グラフィックスカードのデータを収集し、製造段階の環境影響を評価した。
• Epoch AIデータセットを用いて、特定の機械学習モデルとトレーニングに使用されたハードウェアを関連付け、トレーニングに要するエネルギー消費を推定した。
• MLCA（機械学習炭素評価）を適用し、ハードウェアのライフサイクル全体における炭素排出量、金属資源枯渇、一次エネルギー需要を定量的に評価した。
• GPUの数、トレーニング時間、消費電力に基づいてトレーニングエネルギー消費をモデル化し、電力ミックスおよびPUE（電力使用効率）を調整した。
• 低炭素電力地域への拠点移転の影響を評価したが、指数関数的な増加を相殺するには不十分であった。
• PUE、トレーニング時間、電力ミックスに関する仮定の不確実性を感度分析を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 2013年から2023年までの間、グラフィックスカードの製造に伴う環境影響はどのように変化したか？
• RQ2 現在の効率化戦略は、機械学習モデルのトレーニングに伴う炭素排出量をどの程度低減できるか？
• RQ3 リバウンド効果は、AIトレーニングにおけるハードウェア効率の向上が得る環境的利点を相殺するか？
• RQ4 使用段階から製造段階への影響のシフトは、AIシステム全体の環境負荷にどのように影響するか？
• RQ5 よりグリーンな電力ミックスは、AIトレーニングに伴う増加するエネルギー需要を完全に相殺できるか？

主な発見

• グラフィックスカードの製造に伴う環境影響は、2013年から2023年にかけて継続的に増加しており、複雑性と材料強度の上昇が主な要因である。
• GPUのエネルギー効率の向上にもかかわらず、機械学習モデルのトレーニングに要するエネルギー消費および炭素排出量は、同じ期間にわたり指数関数的に増加した。
• 低炭素電力地域へのトレーニング拠点移転といった戦略は、リバウンド効果のため、炭素排出量の指数的増加を抑制できなかった。
• リバウンド効果は顕著である：効率化が進むと、より大きなモデルが構築され、結果として全体のエネルギー消費が増加し、環境的利点が相殺される。
• 使用段階から製造段階への影響のシフトは顕著であり、運用段階のエネルギー消費だけではなく、ライフサイクル全体の評価が不可欠であることを示している。
• 現在の低減戦略では、この傾向を逆転させるには不十分であり、環境影響を意味的に低減させるにはAI活動自体の縮小が必要である。