[논문 리뷰] How to estimate carbon footprint when training deep learning models? A guide and review

Lucia Bouza Heguerte, Aurélie Bugeau외 1명|arXiv (Cornell University)|2023. 06. 14.

Green IT and Sustainability인용 수 4

한 줄 요약

이 논문은 딥러닝 모델 훈련 중 탄소 배출량을 추정하기 위한 일곱 가지 도구에 대한 종합적 안내와 비교 분석을 제공한다. 다양한 인프라(개인용 컴퓨터에서 기관 서버에 이르기까지)를 대상으로 정확도, 에너지 소비, 사용성 측면에서 평가하며, 일부 훈련 에포크만 측정하고 외삽하는 것이 신뢰할 수 있는 결과를 도출할 수 있음을 입증한다. 이는 인프라 스케일링 및 특정 용도에 맞는 도구 선택의 중요성을 강조한다.

ABSTRACT

Machine learning and deep learning models have become essential in the recent fast development of artificial intelligence in many sectors of the society. It is now widely acknowledge that the development of these models has an environmental cost that has been analyzed in many studies. Several online and software tools have been developed to track energy consumption while training machine learning models. In this paper, we propose a comprehensive introduction and comparison of these tools for AI practitioners wishing to start estimating the environmental impact of their work. We review the specific vocabulary, the technical requirements for each tool. We compare the energy consumption estimated by each tool on two deep neural networks for image processing and on different types of servers. From these experiments, we provide some advice for better choosing the right tool and infrastructure.

연구 동기 및 목표

• 딥러닝 모델 훈련이 특히 대규모 언어 모델에서 수백 톤의 CO2eq를 배출할 수 있는 환경 영향이 점점 커지는 데 대비하기 위해.
• 하드웨어 용어나 도구 선택에 익숙하지 않은 AI 전문가들이 에너지 소비와 탄소 배출량을 추정하는 데 어려움을 겪는 문제를 해결하기 위해.
• 딥러닝 훈련 중 동적 에너지 소비를 측정하기 위한 일곱 가지 기존 도구(예: CodeCarbon, Eco2AI, Green-Algorithms)를 평가하고 비교하기 위해.
• 와트미터를 사용한 실험적 테스트 기반으로 도구 선택, 인프라 사용, 측정 전략에 대한 실용적 권고를 제공하기 위해.
• 배포 및 내재 에너지 등을 포함하지 않는 탄소 배출량의 과소 평가 등의 한계와 더 나은 생애주기 영향 평가의 필요성을 강조하기 위해.

제안 방법

• 연구는 일곱 가지 탄소 배출량 추정 도구를 평가한다: Green-Algorithms, CodeCarbon, Eco2AI, CarbonTracker, Experiment-Impact-Tracker, MLCO2, Cumulator.
• 에너지 소비는 다섯 가지 실제 인프라에서 물리적 와트미터를 사용하여 측정한다: Labri 서버, MAP5 서버, Grid5000 클러스터, 개인용 컴퓨터, Google Colab.
• 두 가지 이미지 처리 작업을 사용한다: MNIST 숫자 분류(짧은 훈련, 약 1분)와 ImageNet 검증 데이터 기반 DNCNN 기반 이미지 노이즈 제거(긴 훈련, 약 2시간).
• 도구의 정확도는 실제 와트미터 측정값과의 비교를 통해 평가하고, 도구 자체의 에너지 소비량도 측정한다.
• 배치 크기, 데이터 로딩, 체크포인트, 에포크 수 등 핵심 하이퍼파라미터의 영향을 실험적으로 분석하여 외삽 전략을 안내한다.
• 과정 수준 측정과 머신 수준 측정을 구분하고, 도구 간 사용 요인과 기본값을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 인프라에서 딥러닝 훈련 중 에너지 소비를 측정할 때 가장 정확한 탄소 배출량 추정 도구는 무엇인가?
• RQ2 추정 도구 자체의 에너지 소비는 탄소 배출량 측정의 신뢰성에 어떤 영향을 미치는가?
• RQ3 단지 일부 훈련 에포크만 측정하고 외삽하는 방식이 얼마나 정확한 탄소 배출량 추정을 가능하게 하는가?
• RQ4 배치 크기 및 에포크 수 등의 하이퍼파라미터는 측정된 에너지 소비와 도구 성능에 어떤 영향을 미치는가?
• RQ5 일곱 가지 도구 간 측정 방식, 기본값, 인프라 호환성에서의 주요 차이는 무엇인가?

주요 결과

• 일부 훈련 에포크만 측정하고 전체 에너지 소비를 외삽하는 전략은 안정적인 결과를 도출할 수 있다. 에너지 소비는 에포크 간 비교적 일정하기 때문이다.
• 추정 도구 자체의 에너지 소비는 미미하지만 대규모 실험에서는 무시할 수 없으며, 일부 도구는 2시간 훈련 동안 최대 0.15kWh의 에너지를 소비한다.
• 탄소 배출량 추정치는 도구 간 차이가 크며, 이는 정지 전력, CPU/GPU 사용률, 사용 요인 등을 모델링하고 적용하는 방식의 차이에서 기인한다.
• 과정 수준 소비만 추정하는 도구(예: CodeCarbon, Eco2AI)는 특히 자원 활용도가 낮은 시스템에서 전체 머신 전력 측정 도구보다 낮은 값을 보여준다.
• 도구 선택은 인프라 유형과 측정 목표(과정 수준 vs. 전체 노드 모니터링)에 따라 이끌려야 한다.
• 연구는 자원 활용도가 낮은 인프라에서 훈련할 경우 탄소 배출량이 더 높아짐을 확인하며, 적절한 규모의 자원 선택의 중요성을 재확인한다.