[論文レビュー] Exploring the Carbon Footprint of Hugging Face's ML Models: A Repository Mining Study

Joel Castaño, Silverio Martínez‐Fernández+2 more|arXiv (Cornell University)|May 18, 2023

Green IT and Sustainability参考文献 32被引用数 4

ひとこと要約

本研究では、Hugging Faceの1,417の機械学習モデルをリポジトリマイニングすることで、炭素排出量を分析し、報告率の停滞と、モデルサイズ、データセットサイズ、NLP分野への注力と排出量の強い相関を明らかにした。研究では、炭素報告の実態と炭素効率性の2つの分類システムを提案し、MLコミュニティにおける透明性と持続可能なモデル開発を促進することを目的としている。

ABSTRACT

The rise of machine learning (ML) systems has exacerbated their carbon footprint due to increased capabilities and model sizes. However, there is scarce knowledge on how the carbon footprint of ML models is actually measured, reported, and evaluated. In light of this, the paper aims to analyze the measurement of the carbon footprint of 1,417 ML models and associated datasets on Hugging Face, which is the most popular repository for pretrained ML models. The goal is to provide insights and recommendations on how to report and optimize the carbon efficiency of ML models. The study includes the first repository mining study on the Hugging Face Hub API on carbon emissions. This study seeks to answer two research questions: (1) how do ML model creators measure and report carbon emissions on Hugging Face Hub?, and (2) what aspects impact the carbon emissions of training ML models? The study yielded several key findings. These include a stalled proportion of carbon emissions-reporting models, a slight decrease in reported carbon footprint on Hugging Face over the past 2 years, and a continued dominance of NLP as the main application domain. Furthermore, the study uncovers correlations between carbon emissions and various attributes such as model size, dataset size, and ML application domains. These results highlight the need for software measurements to improve energy reporting practices and promote carbon-efficient model development within the Hugging Face community. In response to this issue, two classifications are proposed: one for categorizing models based on their carbon emission reporting practices and another for their carbon efficiency. The aim of these classification proposals is to foster transparency and sustainable model development within the ML community.

研究の動機と目的

• Hugging Faceにおける機械学習モデル開発者が、炭素排出量をどのように測定・報告しているかを調査し、持続可能性の透明性に関する重要な空白を解消すること。
• 特にモデルサイズ、データセットサイズ、アプリケーション分野を含む、MLモデルの炭素排出量に影響を与える要因を同定すること。
• MLコミュニティにおける標準化された炭素報告実務の欠如に応じ、実行可能な分類システムを提案すること。
• 実証的知見と実務家・研究者向けの提言を通じて、炭素効率の高いモデル開発を促進すること。

提案手法

• Hugging Face Hub APIを用いた大規模なリポジトリマイニング研究を実施し、1,417のモデルのメタデータおよび自己報告された炭素排出量を抽出した。
• 不一致した自己報告炭素排出量を標準化するためのデータ前処理および統合技術を適用した。
• モデルサイズ、データセットサイズ、パフォーマンス指標などのモデル属性と炭素排出量の間の相関関係を特定する統計的分析を実施した。
• 2つの分類システムの開発と提案：1つは炭素報告実態に基づいてモデルを分類するもの、もう1つは炭素効率性を評価するもの。
• 再現可能性および今後の拡張のため、コード、データセット、Jupyterノートブックを含む包括的な再現パッケージをZenodoに提供した。

実験結果

リサーチクエスチョン

• RQ1 Hugging FaceにおけるMLモデル開発者は、自身のモデルの炭素排出量をどのように測定・報告しているか？
• RQ2 Hugging Faceのモデルにおいて、炭素排出量と最も強く相関するモデルおよびデータセットの属性は何か？
• RQ3 過去2年間で、Hugging Faceにおける炭素排出量を報告するモデルの割合はどのように変化したか？
• RQ4 自然言語処理、コンピュータビジョン、音声処理などのアプリケーション分野は、炭素排出量プロファイルにおいてどのように異なるか？
• RQ5 Hugging FaceのMLエコシステムにおいて、炭素報告と効率性を阻害するシステム的障壁は何か？

主な発見

• 過去2年間で、Hugging Faceにおける炭素排出量を報告するモデルの割合は、ほとんど変化せず、持続可能性の透明性向上にほとんど進展がないことを示している。
• モデルサイズと炭素排出量の間に顕著な相関が認められ、大きなモデルは一貫して高い排出量を示している。
• データセットサイズも炭素排出量と強く正の相関を示しており、データ集約型のトレーニングが主な貢献要因であることが浮き彫りになった。
• NLP分野は、自己報告炭素排出量を持つモデルの大多数を占めており、排出量報告の主要な分野のままである。
• 意識の高まりにもかかわらず、モデルのパフォーマンスと排出量の間には一貫したトレードオフが観察されず、複雑な相関関係が存在することが示唆された。
• 本研究では、報告実務の標準化が不十分であり、多くのモデルが情報豊富なモデルカードを欠如させていることが特定され、排出量評価の信頼性に制限が生じていることが明らかになった。