[논문 리뷰] Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models

Lasse F. Wolff Anthony, Benjamin Kanding외 1명|arXiv (Cornell University)|2020. 07. 06.

Advanced Neural Network Applications참고 문헌 22인용 수 203

한 줄 요약

Carbontracker는 DL 모델 학습 중 에너지 사용량과 탄소 배출을 추적하고 예측하는 오픈 소스 파이썬 도구이며, 예측된 환경 발자국이 초과되면 학습을 중지하라는 경고를 사용자에게 제공할 수 있습니다.

ABSTRACT

Deep learning (DL) can achieve impressive results across a wide variety of tasks, but this often comes at the cost of training models for extensive periods on specialized hardware accelerators. This energy-intensive workload has seen immense growth in recent years. Machine learning (ML) may become a significant contributor to climate change if this exponential trend continues. If practitioners are aware of their energy and carbon footprint, then they may actively take steps to reduce it whenever possible. In this work, we present Carbontracker, a tool for tracking and predicting the energy and carbon footprint of training DL models. We propose that energy and carbon footprint of model development and training is reported alongside performance metrics using tools like Carbontracker. We hope this will promote responsible computing in ML and encourage research into energy-efficient deep neural networks.

연구 동기 및 목표

• ML 연구 및 실무에서 성능 지표와 함께 에너지 및 탄소 발자국 보고의 동기를 부여합니다.
• DL 모델 학습의 환경 영향을 모니터링, 예측, 감소를 위한 개입 가능성을 제공하는 실용적 도구를 제공합니다.
• 의료 영상 데이터셋의 CNN에서 도구를 시연하고 예측 정확도를 평가합니다.
• 지역별 탄소 강도 및 하드웨어 구성 등 발자국에 영향을 미치는 요인을 강조하여 완화 전략을 안내합니다.

제안 방법

• GPU, CPU, DRAM의 전력 사용을 실시간으로 측정하는 파이썬 기반 다중 스레드 도구를 개발합니다.
• 사용자가 지정한 에폭 수를 기준으로 간단한 선형 모델을 사용하여 총 학습 에너지 소비 및 탄소 발자국을 예측합니다.
• 예측 기간에 대한 탄소 강도를 실시간 API를 통해 예측하여 CO2eq 배출량을 계산합니다.
• 예측된 발자국이 임계치를 초과할 경우 학습 중지를 가능하게 하여 개입을 허용합니다.
• 기존 코드베이스에 plug-and-play 통합으로 클러스터, 데스크탑, Colab 등 교차 플랫폼 배치를 지원합니다.

실험 결과

연구 질문

• RQ1 부분 모니터링에서 Carbontracker가 DL 모델 학습의 에너지 및 탄소 발자국을 얼마나 정확하게 예측할 수 있습니까?
• RQ2 학습 중 GPU, CPU, DRAM 구성요소 간 에너지 사용 분포는 어떠합니까?
• RQ3 지역별 탄소 강도와 예측 정확도가 CO2eq 추정치 및 권장 완화 조치에 어떤 영향을 미칩니까?

주요 결과

• 모니터링 1 에폭 이후 에너지 예측 오차는 4.9%에서 19.1% 범위입니다.
• 같은 설정에서 CO2eq 예측 오차는 7.3%에서 19.9% 범위입니다.
• 실험 전반에 걸친 학습 기간 예측은 0.8%에서 4.6% 오차입니다.
• GPU는 총 에너지 소비의 약 50%–60%를 차지하며 CPU와 DRAM도 상당 부분을 차지합니다.
• 실시간 또는 예측된 탄소 강도는 지역 평균에 비해 CO2eq 추정치를 크게 향상시킵니다.
• 본 논문은 에스토니아와 스웨덴 간의 차이 및 시간대에 따라 잠재적 배출 차이를 보여주며, 학습 시기와 위치를 완화 수단으로 시사합니다.