[論文レビュー] Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning

Alexandra Sasha Luccioni, Álex Hernández-García|arXiv (Cornell University)|Feb 16, 2023

Environmental Impact and Sustainability被引用数 25

ひとこと要約

この論文は95モデルにわたるMLモデル学習のカーボン排出を調査し、エネルギー源、排出量、その推移と性能との関連を分析し、集中報告を提案する。

ABSTRACT

Machine learning (ML) requires using energy to carry out computations during the model training process. The generation of this energy comes with an environmental cost in terms of greenhouse gas emissions, depending on quantity used and the energy source. Existing research on the environmental impacts of ML has been limited to analyses covering a small number of models and does not adequately represent the diversity of ML models and tasks. In the current study, we present a survey of the carbon emissions of 95 ML models across time and different tasks in natural language processing and computer vision. We analyze them in terms of the energy sources used, the amount of CO2 emissions produced, how these emissions evolve across time and how they relate to model performance. We conclude with a discussion regarding the carbon footprint of our field and propose the creation of a centralized repository for reporting and tracking these emissions.

研究の動機と目的

• 多様なタスクと時間枠にわたるMLモデル学習に関連するカーボン排出量を定量化する。
• 排出量を左右する主な要因（エネルギー源、学習時間、ハードウェア）を特定し、その影響を定量化する。
• 時間とタスクを通じて排出量がどのように変化してきたかを検討する。
• エネルギー/CO2の使用とモデル性能との関係を探り、効率性の向上を評価する。

提案手法

• Thompson et al. (2020) dataset of ML computational requirements を用いて、500件の論文をサンプルとし、77論文から95個の訓練済みモデルを取得した（15.4% の回答率）。
• CO2eq emissions を C = P × T × I = E × I の式で推定する。ここで P はハードウェア電力（TDP による）、T は GPU 時間での学習時間、I は公開情報から得られるグリッド炭素強度。
• 地域ごとの訓練場所別に炭素強度を推定し、年次グリッドデータを用いる。社内インフラは企業報告で考慮し、クラウドプラットフォームは提供者データを用いる。
• 学習時間は総ハードウェア時間として算出する（例: 16GPU を 24時間稼働= 384 GPU 時間）。
• エネルギーと排出量を対数スケールで提示し、主なエネルギー源（石炭、天然ガス、水力、石油、原子力）とそれらの炭素強度を分析する；エネルギー、排出量と性能の関係を検討する。

Figure 1 . Map with the countries where the models in the data were trained, as reported by the authors. The colors code the median carbon intensity of the energy used by the models trained in each country. The legend indicates the number of models trained in each country, as well as a colored patch

実験結果

リサーチクエスチョン

• RQ1 MLモデルの学習に用いられる主なエネルギー源は何か？
• RQ2 MLモデルの訓練によって生じるCO2排出量の規模はどの程度か？
• RQ3 MLモデルの訓練によるCO2排出量は時間とともにどう変化するか？
• RQ4 より多くのエネルギーとCO2がより良いモデル性能につながるか。

主な発見

• 多くのモデル（61件）は炭素強度が高いエネルギー源（石炭または天然ガス）を使用し、平均的な炭素強度は約350–512 gCO2e/kWh；34件は低炭素源（水力または原子力）を使用していた。
• 標本全体の平均炭素強度は約372 gCO2e/kWhで、世界平均よりは低いが改善の余地は大きい。
• 分析対象のモデルの総排出量は約253トンCO2eで、時間とともに排出量が増加しており（2012年から近年で約100倍の増加）。
• 排出量は学習時間とエネルギー源に大きく依存する；ハードウェア電力（TDP 180–300 W）はエネルギー源と期間と比較すると変動の説明力が小さい。
• 大半のタスクでエネルギー使用量が多いほど性能が高いという強い一貫した関係は見られない；.ImageNet では高い排出量が概ね高い正確さと一致する notable exception があるが、普遍的な関係ではない。

Figure 2 . Estimated energy consumed (kWh) and CO 2 (kg) by each model in the data set, plotted in a log-log scale. Colors indicate the principal energy source, and the size of the dot carbon intensity. While the relationship between energy and carbon emissions is mostly linear, the data show that m