[논문 리뷰] Measuring the Carbon Intensity of AI in Cloud Instances

Jesse Dodge, Taylor Prewitt외 8명|arXiv (Cornell University)|2022. 06. 10.

Green IT and Sustainability인용 수 11

한 줄 요약

이 논문은 클라우드 플랫폼에서 AI 워크로드의 실시간 탄소 강도를 위치 및 시간에 따라 특화된 마진 배출 데이터를 사용하여 측정하는 프레임워크를 제안한다. 이는 낮은 탄소 배출 지역을 선택하고 계산 시간을 최적화함으로써 배출량을 최대 70%까지 줄일 수 있음을 보여주며, 클라우드 환경에서 AI 훈련 및 추론의 환경 영향을 최소화하기 위한 실천 가능한 전략을 제공한다.

ABSTRACT

By providing unprecedented access to computational resources, cloud computing has enabled rapid growth in technologies such as machine learning, the computational demands of which incur a high energy cost and a commensurate carbon footprint. As a result, recent scholarship has called for better estimates of the greenhouse gas impact of AI: data scientists today do not have easy or reliable access to measurements of this information, precluding development of actionable tactics. Cloud providers presenting information about software carbon intensity to users is a fundamental stepping stone towards minimizing emissions. In this paper, we provide a framework for measuring software carbon intensity, and propose to measure operational carbon emissions by using location-based and time-specific marginal emissions data per energy unit. We provide measurements of operational software carbon intensity for a set of modern models for natural language processing and computer vision, and a wide range of model sizes, including pretraining of a 6.1 billion parameter language model. We then evaluate a suite of approaches for reducing emissions on the Microsoft Azure cloud compute platform: using cloud instances in different geographic regions, using cloud instances at different times of day, and dynamically pausing cloud instances when the marginal carbon intensity is above a certain threshold. We confirm previous results that the geographic region of the data center plays a significant role in the carbon intensity for a given cloud instance, and find that choosing an appropriate region can have the largest operational emissions reduction impact. We also show that the time of day has notable impact on operational software carbon intensity. Finally, we conclude with recommendations for how machine learning practitioners can use software carbon intensity information to reduce environmental impact.

연구 동기 및 목표

• 클라우드 컴퓨팅 환경에서 AI 워크로드의 운영 탄소 강도를 측정하기 위한 실용적이고 실시간인 방법을 개발하는 것.
• 기계 학습 연구자들이 접근 가능하고 신뢰할 수 있는 탄소 발자국 데이터를 확보하지 못함으로써 배출 감소 노력이 저해되는 문제를 해결하는 것.
• 저탄소 지역 선택 및 저탄소 기간 동안 워크로드 스케줄링과 같은 공간적 및 시간적 전략이 AI의 환경 영향을 줄이는 데 기여하는지 평가하는 것.
• 클라우드 제공업체가 소프트웨어 탄소 강도 데이터를 사용자에게 공개함으로써 정보 기반의 지속 가능한 의사결정을 가능하게 하도록 촉구하는 것.
• 기존의 할당 기반 방법 대신 결과 기반의 마진 배출 접근 방식을 지원하는 최신 탄소 회계 기준을 마련할 것을 촉구하는 것.

제안 방법

• 프레임워크는 kWh당 위치 기반 및 시간에 따라 특화된 마진 배출율(LME)을 사용하여 클라우드 인스턴스의 실시간 탄소 강도를 추정한다.
• 이 LME 비율을 마이크로소프트 애저에서 다양한 모델과 클라우드 인스턴스를 대상으로 실제 AI 훈련 및 추론 워크로드에 적용한다.
• 이 방법은 특정 시간과 위치에서의 계산 에너지 소비와 마진 전력망 배출율의 곱으로 소프트웨어 탄소 강도(SSI)를 계산한다.
• 세 가지 전략을 통해 배출 감소를 평가한다: 다른 지리적 지역 선택, 하루 중 다른 시간대에 워크로드 스케줄링, 마진 배출율이 임계값을 초과할 경우 인스턴스를 동적으로 일시정지하는 것.
• 실시간 탄소 추정을 가능하게 하기 위해 워트타임(WattTime)과 같은 공개된 LME 데이터를 활용한다.
• 이 프레임워크는 클라우드 기반 AI 워크로드의 운영 탄소 배출을 추정하고 보고하기 위한 도구로 구현된다.

실험 결과

연구 질문

• RQ1 클라우드 플랫폼에서 실행되는 AI 워크로드의 실시간 탄소 강도를 정확하게 측정하는 방법은 무엇인가?
• RQ2 클라우드 데이터센터의 지리적 위치가 AI 계산의 탄소 강도에 어떤 영향을 미치는가?
• RQ3 하루 중 시간대가 클라우드 기반 AI 워크로드의 탄소 강도에 어떤 영향을 미치는가?
• RQ4 실시간 배출 데이터 기반의 동적 워크로드 스케줄링이 AI 훈련 및 추론의 탄소 발자국을 줄일 수 있는가?
• RQ5 클라우드 제공업체와 사용자가 투명성과 전략적 자원 배분을 통해 AI의 운영 탄소 배출을 줄이는 데 어떤 역할을 할 수 있는가?

주요 결과

• 클라우드 데이터센터의 지리적 위치가 운영 탄소 강도에 가장 큰 영향을 미치며, 고탄소 지역과 저탄소 지역 간 차이가 최대 70%에 이른다.
• 하루 중 시간대가 탄소 강도에 상당한 영향을 미치며, 특히 재생 에너지의 변동성이 높은 지역에서는 그리드 부하 변화로 인해 오전과 저녁에 배출 피크가 발생한다.
• 태양광이 풍부한 지역에서는 정오 무렵, 바람이 많은 지역에서는 야간에 저탄소 기간에 AI 워크로드를 스케줄링하면 피크 시간대 대비 최대 50%까지 배출량을 줄일 수 있다.
• 마진 배출율이 임계값을 초과할 경우 클라우드 인스턴스를 동적으로 일시정지하는 것은 측정 가능한 감소 효과를 가져오며, 특히 지역 및 시간 최적화와 조합했을 때 효과가 크다.
• 이 연구는 평균 또는 지역 전력망 평균보다 마진 배출율(LME) 데이터가 탄소 영향을 더 정확하고 실천 가능한 방식으로 측정할 수 있음을 확인한다.
• 현재의 GHGP 스크립트 2 회계 프레임워크는 결과 기반의 실시간 탄소 추정과 호환되지 않으며, AI 탄소 보고서 분야에서 최신 기준이 필요하다는 점을 시사한다.