[論文レビュー] Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model

Alexandra Sasha Luccioni, Sylvain Viguier+1 more|arXiv (Cornell University)|Nov 3, 2022

Green IT and Sustainability被引用数 188

ひとこと要約

この論文は BLOOM のライフサイクルにおける炭素排出量を推定し、体現排出量・動的排出量・待機排出量・デプロイメント排出量を含め、BLOOM を他の LLM と比較している。

ABSTRACT

Progress in machine learning (ML) comes with a cost to the environment, given that training ML models requires significant computational resources, energy and materials. In the present article, we aim to quantify the carbon footprint of BLOOM, a 176-billion parameter language model, across its life cycle. We estimate that BLOOM's final training emitted approximately 24.7 tonnes of~\carboneq~if we consider only the dynamic power consumption, and 50.5 tonnes if we account for all processes ranging from equipment manufacturing to energy-based operational consumption. We also study the energy requirements and carbon emissions of its deployment for inference via an API endpoint receiving user queries in real-time. We conclude with a discussion regarding the difficulty of precisely estimating the carbon footprint of ML models and future research directions that can contribute towards improving carbon emissions reporting.

研究の動機と目的

• BLOOM のライフサイクル全体にわたる総炭素フットプリントを定量化する。
• 体現排出量・動的排出量・待機排出量・デプロイメント排出量に分解する。
• 他の大規模言語モデルと BLOOM の排出量を比較し、環境影響を文脈化する。
• 報告の透明性と方法論的選択、限界、今後の課題について議論する。

提案手法

• 製造から展開段階までに焦点を当てたライフサイクルアセスメント枠組みを採用する。
• サーバーとGPU の体現排出量を外部のフットプリント推定と6年間の置換仮定を用いて計算する。
• GPU-時間数・GPU のTDP・グリッドの炭素強度を用いて動的排出量を推定する。
• クラスタの電力使用実験によってアイドル時の消費を測定し、非訓練時のエネルギーを配分する。
• リアルタイム API シナリオと CodeCarbon ツールを用いてデプロイメント/推論排出量を分析する。
• 研究間での方法論のばらつきを考慮しつつ、他モデルとの比較を提供する。

実験結果

リサーチクエスチョン

• RQ1 BLOOM のライフサイクル全体での温室効果ガス排出量（体現・動的・待機・デプロイメント）はどれくらいか。
• RQ2 類似のライフサイクル会計の下で、BLOOM の排出量は他の 176B+ パラメータの LLM とどう比べられるか。
• RQ3 BLOOM のカーボンフットプリントの主な要因は何か、推定値は方法の選択にどの程度敏感か。
• RQ4 ML の炭素会計における報告実践と今後の課題に対する含意は何か。

主な発見

• 総排出量は BLOOM のライフサイクル全体で約 50.5 トンの CO2eq（体現・動的・待機の合計）。
• 動的エネルギーは約 24.69 トンの CO2eq（総計の約 48.9%）、待機は約 14.6 トン（28.9%）、体現は約 11.2 トン（22.2%）。
• BLOOM の訓練には Nvidia A100 GPU の 1,082,990 GPU 時間を使用し、57 gCO2eq/kWh のグリッド強度で 433 MWh のエネルギー使用。
• GPT-3 および Gopher と比較して BLOOM は主にグリッド炭素強度（57 gCO2eq/kWh）と類似のエネルギー使用の影響で排出量が低くなる。OPT は異なる会計（PUE の考慮を含む）により報告排出量が高くなる。
• デプロイメント/推論排出量は GCP でのリアルタイム API 展開から推定され、リクエスト間の待機時のエネルギー使用と地域別のグリッド強度を浮き彫りにする。