[논문 리뷰] The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink

David A. Patterson, Joseph E. Gonzalez외 8명|arXiv (Cornell University)|2022. 04. 11.

Environmental Impact and Sustainability인용 수 9

한 줄 요약

이 논문은 기계학습(ML) 훈련의 탄소 발자국이 에너지 효율적인 최선의 실천 방식—예를 들어 모델 프루닝, 양자화, 효율적인 하드웨어—의 광범위한 도입으로 인해 정점에 도달하고 결국 감소할 것이라고 주장한다. 이로 인해 에너지 소비는 최대 100배 감소하고, 이산화탄소 배출량은 최대 1000배 감소한다. 구글에서는 ML 훈련의 에너지 소비가 3년간 총 에너지 소비의 15% 이하로 안정화되어 있으며, 연구 논문에 탄소 배출량 보고를 의무화하여 정확한 회계 처리를 보장하고 기후 친화적인 혁신을 이끌어내야 한다고 제안한다.

ABSTRACT

Machine Learning (ML) workloads have rapidly grown in importance, but raised concerns about their carbon footprint. Four best practices can reduce ML training energy by up to 100x and CO2 emissions up to 1000x. By following best practices, overall ML energy use (across research, development, and production) held steady at <15% of Google's total energy use for the past three years. If the whole ML field were to adopt best practices, total carbon emissions from training would reduce. Hence, we recommend that ML papers include emissions explicitly to foster competition on more than just model quality. Estimates of emissions in papers that omitted them have been off 100x-100,000x, so publishing emissions has the added benefit of ensuring accurate accounting. Given the importance of climate change, we must get the numbers right to make certain that we work on its biggest challenges.

연구 동기 및 목표

• 기계학습 훈련의 환경적 영향, 특히 탄소 발자국에 대한 우려를 다루기 위해.
• 특히 기업 환경에서의 규모 확대에 따라 효율성 향상 덕분에 기계학습의 에너지 소비가 정점에 도달했음을 보여주기 위해.
• 모델 정확도 외에도 공정한 비교가 가능하도록 기계학습 연구 논문에 탄소 배출량 보고를 포함할 것을 주장하기 위해.
• 모델 프루닝, 양자화, 효율적인 하드웨어와 같은 에너지 효율적인 기법의 광범위한 도입을 통해 환경적 영향을 줄이기 위해.

제안 방법

• 저자들은 구글에서의 에너지 소비 추세를 분석하여, 기계학습 훈련의 에너지 소비가 3년간 총 에너지 소비의 15% 이하로 유지되고 있음을 확인한다.
• 네 가지 핵심 최선의 실천 방식—모델 프루닝, 양자화, 효율적인 하드웨어 활용, 알고리즘 최적화—를 식별하고 평가한다.
• 이러한 실천 방식의 영향을 정량화하여 에너지 소비는 최대 100배 감소하고, 이산화탄소 배출량은 최대 1000배 감소함을 보여준다.
• 논문에 대한 표준화된 탄소 배출량 보고 프레임워크를 제안하며, 훈련 런당 이산화탄소 등가량 같은 지표를 사용한다.
• 배출량 추정치의 격차를 분석하여, 배출량 데이터를 기재하지 않은 논문들은 종종 100배에서 100,000배 정도의 오차를 가짐을 보여준다.
• 실제로 구글의 기계학습 훈련 파이프라인에서 확보한 데이터를 바탕으로 장기적인 에너지 및 배출량 추세를 예측한다.

실험 결과

연구 질문

• RQ1 체계적인 효율성 최선의 실천 방식 도입을 통해 기계학습 훈련의 탄소 발자국을 크게 줄일 수 있는가?
• RQ2 모델 복잡도가 증가함에도 불구하고 기계학습 에너지 소비가 구글에서 왜 정점에 도달했는가?
• RQ3 탄소 배출량을 기재하지 않은 논문의 배출량 추정치는 얼마나 부정확한가, 그 결과는 무엇인가?
• RQ4 기계학습 논문에 광범위한 탄소 배출량 보고가 도입될 경우 연구 동기와 환경 책임에 어떤 영향을 미칠 것인가?
• RQ5 기술적 및 절차적 변화를 통해 기계학습 공동체는 지속적인 탄소 배출 감소를 이룰 수 있는가?

주요 결과

• 구글에서 기계학습 훈련의 에너지 소비는 지난 3년간 총 기업 에너지 소비의 15% 이하로 안정화되어 있으며, 성장 정점에 도달했음을 시사한다.
• 최선의 실천 방식을 도입하면 기계학습 훈련의 에너지 소비는 최대 100배 감소하고, 이산화탄소 배출량은 최대 1000배 감소할 수 있다.
• 탄소 배출량을 기재하지 않은 논문들은 종종 100배에서 100,000배 정도의 오차를 가지며, 이는 투명성의 필요성을 강조한다.
• 효율성 실천 방식이 광범위하게 도입된다면 기계학습 훈련의 탄소 발자국은 향후 감소할 것으로 예측된다.
• 기계학습 논문에 탄소 배출량 보고를 의무화하면 정확도가 향상되고, 지속 가능성 측면에서의 경쟁이 촉진되며, 기후 친화적인 연구를 우선시하는 데 도움이 된다.