[논문 리뷰] Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models

Lasse F. Wolff Anthony, Benjamin Kanding외 1명|arXiv (Cornell University)|2020. 07. 06.

Advanced Neural Network Applications참고 문헌 22인용 수 114

한 줄 요약

Carbontracker는 DL 모델 학습 중 에너지 사용과 CO2 배출을 추적하고 예측하는 오픈 소스 파이썬 도구로, footprint를 줄이기 위한 선제적 조치를 가능하게 합니다.

ABSTRACT

Deep learning (DL) can achieve impressive results across a wide variety of tasks, but this often comes at the cost of training models for extensive periods on specialized hardware accelerators. This energy-intensive workload has seen immense growth in recent years. Machine learning (ML) may become a significant contributor to climate change if this exponential trend continues. If practitioners are aware of their energy and carbon footprint, then they may actively take steps to reduce it whenever possible. In this work, we present Carbontracker, a tool for tracking and predicting the energy and carbon footprint of training DL models. We propose that energy and carbon footprint of model development and training is reported alongside performance metrics using tools like Carbontracker. We hope this will promote responsible computing in ML and encourage research into energy-efficient deep neural networks.

연구 동기 및 목표

• ML 연구에서 성능 지표와 함께 에너지 및 탄소 발자국 보고를 촉진합니다.
• DL 학습 중 전력 모니터링 및 배출 예측을 쉽게 통합할 수 있는 파이썬 기반 도구를 개발합니다.
• 예상 환경 비용이 높을 때 조치(예: 조기 종료) 가능한 선제적 의사결정을 가능하게 합니다.
• 최소한의 학습 중단으로 여러 환경(클러스터, 데스크톱, Colab)을 지원합니다.

제안 방법

• Carbontracker는 NVML과 Intel RAPL 인터페이스를 사용하여 GPU, CPU, DRAM 전력 사용량을 다중 스레드로 모니터링하는 파이썬 도구입니다.
• 사용자가 지정한 에폭 수를 기반으로 간단한 선형 모델을 사용해 총 지속 시간, 에너지 및 탄소 발자국을 예측합니다.
• 실시간 또는 예측된 탄소 강도는 API를 통해 가져와 에너지 사용을 CO2eq 배출로 변환합니다.
• 데이터 센터 간접 비용을 포함한 총 에너지 소비를 추정하기 위해 PUE 기반 스케일링을 사용합니다.
• 구현에는 로깅, 모듈식 파서, 학습 스크립트 내의 플러그 앤 플레이 설정이 포함됩니다.

실험 결과

연구 질문

• RQ1 일부 에폭을 모니터링한 후 에너지, 탄소 발자국 및 학습 기간에 대한 Carbontracker의 예측은 얼마나 정확한가?
• RQ2 지역적 탄소 강도가 예측 배출량에 어떤 영향을 미치며 예측은 학습 시기나 위치를 어떻게 가이드할 수 있는가?
• RQ3 DL 모델 학습 중 GPU, CPU 및 DRAM이 총 에너지 소모에 차지하는 상대적 기여도는 어느 정도인가?
• RQ4 탄소 추적기가 조기 종료와 같은 개입을 가능하게 하여 모델 성능을 해치지 않으면서 배출을 실질적으로 줄일 수 있는가?

주요 결과

• 에너지 예측 오차: 한 에폭 후 구성에 따라 4.9%에서 19.1%까지.
• CO2eq 예측 오차: 한 에폭 후 구성에 따라 7.3%에서 19.9%까지.
• 학습 기간 예측 오차: 한 에폭 후 구성에 따라 0.8%에서 4.6%까지.
• GPU는 학습 중 총 에너지의 약 50–60%를 차지하고, CPU와 DRAM도 상당한 부분을 차지합니다.
• 지정된 CNN과 의료 데이터 세트로 TITAN RTX(12 GB)에서 모델을 학습시킨 결과 전체 실행에 대해 추정된 37.445 kWh와 3.166 kg CO2eq를 얻었습니다.