[論文レビュー] Efficiency is Not Enough: A Critical Perspective of Environmentally Sustainable AI

Dustin Wright, Christian Igel+2 more|arXiv (Cornell University)|Sep 5, 2023

Green IT and Sustainability被引用数 9

ひとこと要約

本論文は、効率性だけでは環境的に持続可能な機械学習を保証できないと主張し、効率性と持続可能性の間の三つの不一致を提示するとともに、機械学習のライフサイクルやプラットフォームレベルの影響を含む広範な環境影響に対処するためのシステム思考アプローチを提案します。

ABSTRACT

Artificial intelligence (AI) is currently spearheaded by machine learning (ML) methods such as deep learning which have accelerated progress on many tasks thought to be out of reach of AI. These recent ML methods are often compute hungry, energy intensive, and result in significant green house gas emissions, a known driver of anthropogenic climate change. Additionally, the platforms on which ML systems run are associated with environmental impacts that go beyond the energy consumption driven carbon emissions. The primary solution lionized by both industry and the ML community to improve the environmental sustainability of ML is to increase the compute and energy efficiency with which ML systems operate. In this perspective, we argue that it is time to look beyond efficiency in order to make ML more environmentally sustainable. We present three high-level discrepancies between the many variables that influence the efficiency of ML and the environmental sustainability of ML. Firstly, we discuss how compute efficiency does not imply energy efficiency or carbon efficiency. Second, we present the unexpected effects of efficiency on operational emissions throughout the ML model life cycle. And, finally, we explore the broader environmental impacts that are not accounted by efficiency. These discrepancies show as to why efficiency alone is not enough to remedy the adverse environmental impacts of ML. Instead, we argue for systems thinking as the next step towards holistically improving the environmental sustainability of ML.

研究の動機と目的

• ML/AIにおける環境的持続性の観点から、なぜ効率性だけでは不十分であるかを動機づける。
• 効率性と持続可能性の間の三つの高レベルな不一致を特定し、明確にする。
• 効率性がモデルライフサイクル、ハードウェアプラットフォーム、およびより広範な環境影響とどのように相互作用するかを示す。
• MLの複雑で多層的な環境影響に対処する枠組みとして、システム思考を提案する。

提案手法

• 計算資源、ライフサイクル、プラットフォーム全体にわたるMLの効率性、エネルギー使用量、炭素排出量に関する文献をレビューし、統合する。
• EC-NASベンチマークデータ（423,624件のCNNモデル）を分析し、トレーニング時間、パラメータ数、エネルギー消費量、および地域と時間における炭素強度の変動との関係を示す。
• リアルタイムおよび地域差のある炭素強度データを用いて、計算効率、エネルギー、排出量の非単調な関係を示す。
• 効率性の取り組みがMLエコシステム（開発、展開、プラットフォーム）を通じてどのように伝播し、リバウンドや意図しない効果を生むかを理解するためのシステム思考の枠組みを概念化する。
• リバウンド効果（Jevonsパラドックス）と、モデルライフサイクル全体で排出量に影響を与える行動要因について論じる。
• 純粋な効率性を超え、機械学習の持続可能性に対して全体論的でシステム志向のアプローチを採用することを主張する。

実験結果

リサーチクエスチョン

• RQ1 異なるハードウェアとアーキテクチャにまたがるMLにおける計算効率と実際のエネルギー消費量および運用炭素排出量はどのように関連するか。
• RQ2 MLの開発と展開における効率性の向上は、モデルライフサイクル全体の総排出量にどう影響するか。
• RQ3 MLプラットフォーム（ハードウェア製造、埋め込み排出、水使用量、e-waste）の環境影響は何か、そしてそれらは効率性の取り組みとどう相互作用するか。
• RQ4 システム思考は、MLエコシステムにおける効率性の意図せぬ結果（リバウンド効果など）を予測し緩和する枠組みを提供できるか。
• RQ5 効率性を超えて環境的に持続可能なMLを推進するための測定とガバナンスにおいて、どのような実践的な示唆が得られるか。

主な発見

• 計算/エネルギー/カーボン効率は互換性があるわけではない。アーキテクチャ、ハードウェア、地域の炭素強度の差異により、一方を削減しても他方の削減を保証できない。
• 効率性の改善は排出が発生する場所と時期を転位させる可能性があり、展開がライフサイクル排出の支配的要因となり、予期せぬ総排出量につながる。
• ハードウェア製造からの埋め込み排出、電子廃棄物、データセンターの水使用量は、効率性だけでは対処できない重要で拡大する環境影響を構成する。
• MLモデルのライフサイクル全体での運用排出は開発/展開の意思決定に影響され、行動的・経済的インセンティブによってリバウンドする可能性がある。
• ハードウェアプラットフォームは、採掘、森林破壊、資源利用、水リスク、電子廃棄物などの複雑な環境リスクをもたらし、全体最適で管理されないと効率性の利得を相殺する可能性がある。
• システム思考は、単なる効率性を超えた環境影響を低減するためのレバレッジポイントを特定し、より広いMLエコシステムを理解・影響する枠組みを提供する。