[論文レビュー] Quantifying the Carbon Emissions of Machine Learning

Alexandre Lacoste, Alexandra Sasha Luccioni+2 more|arXiv (Cornell University)|Oct 21, 2019

Explainable Artificial Intelligence (XAI)参考文献 18被引用数 130

ひとこと要約

本論文は、MLトレーニングのCO2当量を推定する機械学習排出量計算機を提示し、場所、ハードウェア、トレーニング時間が排出量を推進することを強調し、実行可能な緩和戦略を提供します。

ABSTRACT

From an environmental standpoint, there are a few crucial aspects of training a neural network that have a major impact on the quantity of carbon that it emits. These factors include: the location of the server used for training and the energy grid that it uses, the length of the training procedure, and even the make and model of hardware on which the training takes place. In order to approximate these emissions, we present our Machine Learning Emissions Calculator, a tool for our community to better understand the environmental impact of training ML models. We accompany this tool with an explanation of the factors cited above, as well as concrete actions that individual practitioners and organizations can take to mitigate their carbon emissions.

研究の動機と目的

• MLトレーニングの排出量を定量化し、報告の標準化の必要性を動機づける。
• Machine Learning Emissions Calculatorを、MLトレーニングからのCO2eを推定するツールとして提示する。
• ML排出量に影響を与える主要な要因（場所、ハードウェア、トレーニング時間）とそれらを緩和する方法を説明する。
• 実務者と組織が炭素影響を減らすためのベストプラクティスと実践的な指針を提供する。

提案手法

• 排出量の正規化指標としてCO2eを定義する。
• グリッド排出係数に関する公開データを収集し、それを主要クラウドプロバイダのGPUサーバーの場所に対応付ける。
• 地理的ゾーン、GPUタイプ、トレーニング期間を入力してCO2eを推定する排出量計算機を開発する。
• エネルギーグリッドの混合、データセンターのPUE、プロバイダーのオフセット（RECs）などの要因を排出量推定に含めて検討する。
• 公開リポジトリとイシューを通じたデータのオープン性とコミュニティによる更新を訴える。

実験結果

リサーチクエスチョン

• RQ1 異なる地理的地域でMLモデルをトレーニングする際に排出されるCO2eはどの程度か？
• RQ2 ハードウェアの選択（CPU/GPU/TPU）とトレーニング期間は総排出量にどう影響するのか？
• RQ3 データセンターの場所やクラウドプロバイダの選択が排出量をどの程度削減できるか？
• RQ4 実践的な行動とベストプラクティスのうち、MLトレーニングの炭素フットプリントを最も効果的に低減するものは何か？
• RQ5 MLトレーニングの現在の排出量推定における制限と不確実性は何か？

主な発見

• 排出量は地域によって大きく異なり、CO2e per kWhの地域間差が大きい例を示している。
• 数週間にわたるマルチGPUモデルのトレーニングはかなりの排出量につながる可能性があり、インフラと期間の影響を強調している。
• 低炭素グリッドで供給されるデータセンターの場所を選択すると排出量を著しく削減できる（地域間で大きな差が示されている）
• より効率的なハードウェア（例：TPUs）を選択し、ランダムハイパーパラメータ探索を採用することで、総当たり探索と比較してエネルギー使用量を削減できる。
• 事前学習済みモデルをファインチューニングすることで、フルトレーニングよりも排出量を抑えつつ同等の性能を達成できる場合がある。
• 排出量推定には限界と不確実性があることを認め、推論/展開時の排出も考慮する必要性を示している。