[論文レビュー] Eco2AI: carbon emissions tracking of machine learning models as the first step towards sustainable AI

Semen Budennyy, Vladimir Lazarev+10 more|arXiv (Cornell University)|Jul 31, 2022

Air Quality Monitoring and Forecasting被引用数 6

ひとこと要約

この論文では、機械学習モデルのトレーニングおよび推論中のエネルギー消費量と二酸化炭素排出量をリアルタイムで追跡できるオープンソースのPythonライブラリであるeco2AIを紹介する。正確な地域別炭素強度データとデバイスレベルの電力モニタリングを統合することで、eco2AIは研究者が環境への影響を低減するための最適化を図るのを支援する。4ビット量子化されたGELU活性化関数を用いることで、CO2排出量を10%削減することを実証した。

ABSTRACT

The size and complexity of deep neural networks continue to grow exponentially, significantly increasing energy consumption for training and inference by these models. We introduce an open-source package eco2AI to help data scientists and researchers to track energy consumption and equivalent CO2 emissions of their models in a straightforward way. In eco2AI we put emphasis on accuracy of energy consumption tracking and correct regional CO2 emissions accounting. We encourage research community to search for new optimal Artificial Intelligence (AI) architectures with a lower computational cost. The motivation also comes from the concept of AI-based green house gases sequestrating cycle with both Sustainable AI and Green AI pathways.

研究の動機と目的

• モデルのトレーニングおよび推論中のCO2排出量を透明かつ正確に追跡する方法を提供することで、AIの環境への影響を軽減すること。
• 異なるアーキテクチャや最適化手法の環境的コストを定量化することで、研究コミュニティがより計算効率の良いAIモデルの開発を支援すること。
• データサイエンティストがMLワークフローの炭素フットプリントを監視・低減できるようにすることで、持続可能なAIの基盤を構築すること。
• 排出量追跡をAI開発ライフサイクルに統合し、機械学習における責任ある行動と持続可能性を促進すること。
• AIを用いたGHG吸収サイクルに貢献し、モデルの効率化と環境影響の低減を結びつけること。

提案手法

• eco2AIは、開始/停止のコンテキストマネージャーまたは関数デコレーターを用いてトレーニングおよび推論セッションをインstrument化するPythonライブラリとして実装されている。
• ツールはシステムレベルのモニタリングとデバイス固有の電力消費プロファイルを用いて、CPU、GPU、RAMのリアルタイム電力消費量を測定する。
• エネルギー使用量を同等のCO2排出量に変換するために、地域別に設定された炭素強度係数（gCO2/kWh）を適用し、地理的に正確な会計を実現する。
• 出力ログの暗号化をサポートすることで、再現性のある報告のための結果の真正性と整合性を保証する。
• プロジェクトメタデータ、実行時間、エネルギー使用量（kWh）、CO2排出量（kg）、ハードウェア仕様を含むCSV形式の構造化出力を生成する。
• ユーザー定義の電気料金を用いて、任意の時点で財務コストを計算可能な要約関数を備えている。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルのトレーニングおよび推論中に、エネルギー消費量とCO2排出量をリアルタイムで正確に追跡する方法は何か？
• RQ2 4ビット量子化などのモデル最適化技術は、エネルギー消費量と同等のCO2排出量をどの程度低減できるか？
• RQ3 地域別に特化した炭素強度データをMLトレーニングの追跡に効果的に統合するにはどうすればよいか？
• RQ4 自動排出量追跡が、より持続可能で効率的なAIモデルの設計をどのように支援できるか？
• RQ5 eco2AIのような排出量追跡ツールは、実際のGreen AIおよびSustainable AIへの移行をどのように支援できるか？

主な発見

• eco2AIライブラリは、正確なデバイスレベルの電力測定と地域別排出係数を用いて、高精度なリアルタイムのエネルギー消費量およびCO2排出量の追跡に成功した。
• Malevichモデルのトレーニングにおいて、GELU活性化関数に4ビット量子化を適用することで、電力消費量が約10%削減され、CO2排出量も10%削減された。
• フル精度モデルと量子化モデルを比較した結果、排出量に顕著な低減が確認され、eco2AIのモデル最適化における有効性が検証された。
• eco2AIは、異なるモデルアーキテクチャーやハイパーパramータの環境的影響を比較可能にし、データドリブンな持続可能性意思決定を支援する。
• 暗号化ログと財務コスト推定をサポートすることで、排出量報告の透明性と再現性が向上した。
• トレーニングワークフローへのeco2AIの統合は容易であり、デコレーターまたはコンテキストマネージャーを用いることで最小限のコード変更で実現できる。