[논문 리뷰] Exploring the Carbon Footprint of Hugging Face's ML Models: A Repository Mining Study

Joel Castaño, Silverio Martínez‐Fernández외 2명|arXiv (Cornell University)|2023. 05. 18.

Green IT and Sustainability참고 문헌 32인용 수 4

한 줄 요약

이 연구는 Hugging Face의 1,417개 기계학습 모델에 대한 레포지터리 마이닝을 통해 탄소 배출량을 분석하여, 보고율이 정체되어 있고 모델 크기, 데이터셋 크기, NLP 중심의 응용 분야와 강한 상관관계가 있음을 밝혀냈다. 연구는 탄소 보고 방식과 탄소 효율성에 기반한 두 가지 분류 체계를 제안하여 기계학습 커뮤니티 내 투명성과 지속 가능한 모델 개발을 촉진한다.

ABSTRACT

The rise of machine learning (ML) systems has exacerbated their carbon footprint due to increased capabilities and model sizes. However, there is scarce knowledge on how the carbon footprint of ML models is actually measured, reported, and evaluated. In light of this, the paper aims to analyze the measurement of the carbon footprint of 1,417 ML models and associated datasets on Hugging Face, which is the most popular repository for pretrained ML models. The goal is to provide insights and recommendations on how to report and optimize the carbon efficiency of ML models. The study includes the first repository mining study on the Hugging Face Hub API on carbon emissions. This study seeks to answer two research questions: (1) how do ML model creators measure and report carbon emissions on Hugging Face Hub?, and (2) what aspects impact the carbon emissions of training ML models? The study yielded several key findings. These include a stalled proportion of carbon emissions-reporting models, a slight decrease in reported carbon footprint on Hugging Face over the past 2 years, and a continued dominance of NLP as the main application domain. Furthermore, the study uncovers correlations between carbon emissions and various attributes such as model size, dataset size, and ML application domains. These results highlight the need for software measurements to improve energy reporting practices and promote carbon-efficient model development within the Hugging Face community. In response to this issue, two classifications are proposed: one for categorizing models based on their carbon emission reporting practices and another for their carbon efficiency. The aim of these classification proposals is to foster transparency and sustainable model development within the ML community.

연구 동기 및 목표

• 기계학습 모델 개발자가 Hugging Face에서 탄소 배출량을 어떻게 측정하고 보고하는지 조사하여 지속 가능성 투명성의 핵심 격차를 해소하고자 한다.
• 특히 모델 크기, 데이터셋 크기, 응용 분야와 같은 요소들이 기계학습 모델의 탄소 발자국에 미치는 영향을 규명하고자 한다.
• 기계학습 커뮤니티 내 표준화된 탄소 보고 관행의 부재를 해결하고 실천 가능한 분류 체계를 제안하고자 한다.
• 실증적 인사이트와 전문가 및 연구자들을 위한 권고 사항을 바탕으로 탄소 효율적인 모델 개발을 촉진하고자 한다.

제안 방법

• Hugging Face Hub API를 활용해 1,417개 모델의 메타데이터 및 자가 보고한 탄소 배출량을 추출한 대규모 레포지터리 마이닝 연구를 수행했다.
• 모델 간 불일치한 자가 보고 탄소 배출량을 표준화하기 위해 데이터 전처리 및 통합 기법을 적용했다.
• 모델 크기, 데이터셋 크기, 성능 지표와 같은 모델 특성과 탄소 배출량 간 상관관계를 규명하기 위해 통계 분석을 수행했다.
• 탄소 보고 관행 기반 분류 체계와 탄소 효율성 평가 기반 분류 체계를 개발하고 제안했다.
• 재현성과 향후 확장성을 위해 코드, 데이터셋, Jupyter 노트북을 포함한 포괄적인 복제 팩키지를 Zenodo에 공개했다.

실험 결과

연구 질문

• RQ1 Hugging Face의 기계학습 모델 개발자는 자신의 모델에 대해 탄소 배출량을 어떻게 측정하고 보고하는가?
• RQ2 Hugging Face 모델에서 탄소 배출량과 가장 강하게 상관관계가 있는 모델 및 데이터셋 특성은 무엇인가?
• RQ3 지난 두 해 동안 Hugging Face에서 탄소 배출량을 보고하는 모델 비율은 어떻게 변화해 왔는가?
• RQ4 NLP, 컴퓨터 비전, 오디오 처리와 같은 응용 분야 간 탄소 발자국 프로파일에 어떤 차이가 있는가?
• RQ5 Hugging Face 기계학습 생태계에서 탄소 보고 및 효율성 향상에 걸림돌이 되는 체계적 장애 요소는 무엇인가?

주요 결과

• 지난 두 해 동안 Hugging Face 모델 중 탄소 배출량을 보고하는 비율이 정체되어 있어 지속 가능성 투명성 향상에 큰 진전이 없다는 점을 시사한다.
• 모델 크기와 탄소 배출량 간에 유의미한 상관관계가 있으며, 더 큰 모델일수록 항상 더 높은 배출량을 보인다.
• 데이터셋 크기 역시 탄소 배출량과 강한 정적 상관관계를 보이며, 데이터 집약적 학습이 주요 기여 요소임을 시사한다.
• NLP는 탄소 배출량 보고의 주요 응용 분야로서, 자가 보고한 탄소 발자국을 가진 모델의 다수를 차지한다.
• 지속적인 인식 제고에도 불구하고, 모델 성능과 탄소 배출량 간 명확한 트레이드오프가 일관되게 관찰되지 않아 복잡한 상호의존성이 존재함을 시사한다.
• 연구는 표준화된 보고 관행의 부재를 규명하였으며, 많은 모델가 모델 카드가 정보를 제공하지 않아 탄소 배출량 평가의 신뢰성에 제약이 있음을 밝혔다.