[논문 리뷰] How Green Can AI Be? A Study of Trends in Machine Learning Environmental Impacts

Clément Morand, Anne‐Laure Ligozat외 1명|arXiv (Cornell University)|2024. 12. 23.

Air Quality Monitoring and Forecasting인용 수 4

한 줄 요약

이 연구는 2013년에서 2023년 사이에 기계 학습 모델 훈련과 그래픽 카드 제조의 환경 영향을 분석하여, 효율성 향상과 저탄소 지역으로의 위치 이동 전략에도 불구하고 하드웨어 제조와 훈련 에너지 소비가 모두 기하급수적으로 증가하고 있음을 밝혀냈다. 효율성 향상이 더 큰 모델을 만들게 하는 반작용 효과(재반격 효과)가 환경 영향 감소를 약화시키며, 현재의 전략만으로는 AI의 증가하는 환경적 영향을 줄이기 어렵고, AI 규모 자체를 줄여야만 의미 있는 환경적 영향 감소가 가능하다는 것을 시사한다.

ABSTRACT

The compute requirements associated with training Artificial Intelligence (AI) models have increased exponentially over time. Optimisation strategies aim to reduce the energy consumption and environmental impacts associated with AI, possibly shifting impacts from the use phase to the manufacturing phase in the life-cycle of hardware. This paper investigates the evolution of individual graphics cards production impacts and of the environmental impacts associated with training Machine Learning (ML) models over time. We collect information on graphics cards used to train ML models and released between 2013 and 2023. We assess the environmental impacts associated with the production of each card to visualize the trends on the same period. Then, using information on notable AI systems from the Epoch AI dataset we assess the environmental impacts associated with training each system. The environmental impacts of graphics cards production have increased continuously. The energy consumption and environmental impacts associated with training models have increased exponentially, even when considering reduction strategies such as location shifting to places with less carbon intensive electricity mixes. These results suggest that current impact reduction strategies cannot curb the growth in the environmental impacts of AI. This is consistent with rebound effect, where the efficiency increases fuel the creation of even larger models thereby cancelling the potential impact reduction. Furthermore, these results highlight the importance of considering the impacts of hardware over the entire life-cycle rather than the sole usage phase in order to avoid impact shifting. The environmental impact of AI cannot be reduced without reducing AI activities as well as increasing efficiency.

연구 동기 및 목표

• 2013년에서 2023년 사이에 그래픽 카드 제조의 환경적 영향 변화를 평가하기 위해.
• 실제 데이터를 사용하여 동일 기간 동안 기계 학습 모델 훈련의 환경적 영향을 분석하기 위해.
• 하드웨어 업그레이드와 위치 이동 전략과 같은 현재의 영향 감소 전략의 효과를 평가하기 위해.
• 반작용 효과와 영향 이동이 AI의 환경적 이점을 약화시키는 방식을 조사하기 위해.

제안 방법

• 2013년에서 2023년 사이에 출시된 NVIDIA 워크스테이션 그래픽 카드의 데이터를 수집하여 제조 단계의 환경적 영향를 평가하였다.
• Epoch AI 데이터셋을 사용하여 특정 기계 학습 모델과 훈련에 사용된 하드웨어를 연결하고, 훈련 에너지 소비를 추정하였다.
• MLCA(Machine Learning Carbon Assessment)를 적용하여 하드웨어 생애주기 동안 탄소 배출량, 금속 자원 고갈, 주요 에너지 수요를 정량화하였다.
• GPU 수, 훈련 기간, 전력 소비를 기반으로 훈련 에너지 소비를 모델링하였으며, 전력 혼합 비율과 PUE(Power Usage Effectiveness)를 조정하였다.
• 저탄소 전력 지역으로의 위치 이동 전략의 영향을 평가하였고, 기하급수적 증가를 상쇄하기에는 부족함을 밝혀냈다.
• PUE, 훈련 기간, 전력 혼합 비율 등의 가정에 대한 민감도 분석을 통해 불확실성을 반영하였다.

실험 결과

연구 질문

• RQ1 2013년에서 2023년 사이에 그래픽 카드 제조의 환경적 영향는 어떻게 변화했는가?
• RQ2 현재의 효율성 전략이 기계 학습 모델 훈련의 탄소 배출량을 어느 정도 줄이는가?
• RQ3 반작용 효과는 기계 학습 훈련에서 향상된 하드웨어 효율성의 이점을 무효화하는가?
• RQ4 사용 단계에서 제조 단계로의 영향 이동은 AI 시스템의 전체 환경적 영향에 어떻게 영향을 미치는가?
• RQ5 더 나은 전력 혼합 비율이 AI 훈련의 증가하는 에너지 수요를 완전히 상쇄할 수 있는가?

주요 결과

• 2013년에서 2023년 사이에 그래픽 카드 제조의 환경적 영향은 복잡성과 자원 집약도 증가로 인해 지속적으로 증가하였다.
• GPU의 에너지 효율 향상에도 불구하고, 동일 기간 동안 기계 학습 모델 훈련의 에너지 소비와 탄소 배출량은 기하급수적으로 증가하였다.
• 저탄소 전력 혼합 비율 지역으로의 훈련 이전 전략은 반작용 효과로 인해 기하급수적인 탄소 배출 증가를 막지 못하였다.
• 반작용 효과는 널리 퍼져 있으며, 효율성 향상은 더 큰 모델과 높은 전체 에너지 소비로 이어져 잠재적인 환경적 이점을 상쇄한다.
• 사용 단계에서 제조 단계로의 영향 이동은 뚜렷하며, 운영 에너지 소비를 넘어서 전체 생애주기 평가의 필요성을 강조한다.
• 현재의 감소 전략은 추세를 뒤집기에 부족하며, 의미 있는 환경적 영향 감소를 위해서는 AI 활동 자체를 줄여야 한다.