[논문 리뷰] Quantifying the Carbon Emissions of Machine Learning

Alexandre Lacoste, Alexandra Sasha Luccioni외 2명|arXiv (Cornell University)|2019. 10. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 18인용 수 130

한 줄 요약

본 논문은 ML 학습에 대한 CO2e 등가량을 추정하기 위한 Machine Learning Emissions Calculator를 제시하고, 위치, 하드웨어, 학습 시간이 배출에 미치는 영향을 강조하며 실행 가능한 완화 전략을 제시한다.

ABSTRACT

From an environmental standpoint, there are a few crucial aspects of training a neural network that have a major impact on the quantity of carbon that it emits. These factors include: the location of the server used for training and the energy grid that it uses, the length of the training procedure, and even the make and model of hardware on which the training takes place. In order to approximate these emissions, we present our Machine Learning Emissions Calculator, a tool for our community to better understand the environmental impact of training ML models. We accompany this tool with an explanation of the factors cited above, as well as concrete actions that individual practitioners and organizations can take to mitigate their carbon emissions.

연구 동기 및 목표

• ML 학습 배출량을 정量화할 필요성과 보고의 표준화를 촉진한다.
• Machine Learning Emissions Calculator를 ML 학습에서 CO2e를 추정하는 도구로 제시한다.
• ML 배출에 영향을 미치는 핵심 요인(위치, 하드웨어, 학습 시간)과 이를 완화하는 방법을 설명한다.
• 실무자와 조직이 탄소 영향을 줄이기 위한 모범 사례와 실행 가능한 지침을 제공한다.

제안 방법

• 배출의 정규화 지표로 CO2 등가량(CO2e)을 정의한다.
• 그리드 배출 계수에 대한 공개 데이터를 수집하고 이를 주요 클라우드 공급자의 GPU 서버 위치에 매핑한다.
• 지리적 영역, GPU 유형, 학습 기간을 입력으로 받아 CO2e를 추정하는 배출 계산기를 개발한다.
• 배출 추정에서 에너지 그리드 혼합, 데이터 센터 PUE, 공급자의 상쇄(REC)와 같은 요인을 논의한다.
• 공개 저장소와 이슈를 통한 데이터의 개방성 및 커뮤니티 업데이트를 촉진한다.

실험 결과

연구 질문

• RQ1 다양한 지리적 지역에서 ML 모델을 학습할 때 얼마나 많은 CO2e가 배출되는가?
• RQ2 하드웨어 선택(CPU/GPU/TPU)과 학습 기간이 총 배출에 어떤 영향을 미치는가?
• RQ3 데이터 센터 위치나 클라우드 공급자를 선택하는 것이 배출 감소에 어느 정도 기여하는가?
• RQ4 실용적 조치와 모범 사례 중 어떤 것이 ML 학습 탄소 발자국을 가장 효과적으로 낮추는가?
• RQ5 현재 ML 학습 배출 추정의 한계와 불확실성은 무엇인가?

주요 결과

• 지역에 따라 배출이 크게 달라지며, kWh당 CO2e의 지역 간 차이가 큰 예시가 제시된다.
• 수 주에 걸쳐 다중 GPU 모델을 학습하면 인프라와 기간의 영향으로 배출이 크게 증가한다는 점이 강조된다.
• 데이터 센터 위치를 저탄소 그리드로 작동하는 지역으로 선택하면 배출이 현저히 감소할 수 있다(지역 간 큰 차이가 언급되었다).
• 더 효율적인 하드웨어(예: TPUs)를 선택하고 무작위 하이퍼파라미터 탐색을 채택하면 전체 탐색에 비해 에너지 사용을 줄일 수 있다.
• 사전 학습된 모델을 파인 튜닝하는 방식은 전체 학습과 비교해 비슷한 성능을 달성하면서 배출을 더 낮게 할 수 있다.
• 배출 추정의 한계와 불확실성을 인정하고 추론/배포 시 배출도 고려할 필요가 있다.