[논문 리뷰] Eco2AI: carbon emissions tracking of machine learning models as the first step towards sustainable AI

Semen Budennyy, Vladimir Lazarev외 10명|arXiv (Cornell University)|2022. 07. 31.

Air Quality Monitoring and Forecasting인용 수 6

한 줄 요약

이 논문은 기계학습 모델 훈련 및 추론 중 에너지 소비와 이산화탄소 배출을 실시간으로 추적할 수 있도록 해주는 오픈소스 파이썬 라이브러리 eco2AI를 소개한다. 정밀한 지역별 탄소 강도 데이터와 장치 수준의 전력 모니터링을 통합함으로써 eco2AI는 연구자가 환경 영향을 줄이기 위해 모델을 최적화하는 데 도움을 주며, 4비트 양자화된 GELU 활성화 함수를 사용함으로써 이산화탄소 배출을 약 10% 감소시킴을 입증한다.

ABSTRACT

The size and complexity of deep neural networks continue to grow exponentially, significantly increasing energy consumption for training and inference by these models. We introduce an open-source package eco2AI to help data scientists and researchers to track energy consumption and equivalent CO2 emissions of their models in a straightforward way. In eco2AI we put emphasis on accuracy of energy consumption tracking and correct regional CO2 emissions accounting. We encourage research community to search for new optimal Artificial Intelligence (AI) architectures with a lower computational cost. The motivation also comes from the concept of AI-based green house gases sequestrating cycle with both Sustainable AI and Green AI pathways.

연구 동기 및 목표

• 모델 훈련 및 추론 중 탄소 배출을 투명하고 정확하게 추적할 수 있는 방법을 제공함으로써 증가하는 AI의 환경 영향을 해결하고자 한다.
• 다양한 아키텍처와 최적화 기법의 환경 비용을 정량화함으로써 연구계가 더 계산 효율성이 높은 AI 모델을 개발하는 데 지원하고자 한다.
• 데이터 과학자가 자신의 기계학습 워크플로우의 탄소 발자국을 모니터링하고 줄일 수 있도록 하여 지속 가능한 AI의 기반을 마련하고자 한다.
• 탄소 배출 추적을 AI 개발 라이프사이클에 통합하여 기계학습 분야에서 책임감과 지속 가능성의 문화를 조성하고자 한다.
• 모델 효율성과 환경 영향 감소를 연결함으로써 보다 넓은 AI 기반 온실가스 흡수 순환에 기여하고자 한다.

제안 방법

• eco2AI는 훈련 및 추론 세션을 시작/정지 컨텍스트 매니저 또는 함수 데코레이터를 통해 인스트루멘터라이징하는 파이썬 라이브러리로 구현된다.
• 도구는 시스템 수준 모니터링과 장치별 전력 소비 프로파일을 사용하여 CPU, GPU, RAM의 실시간 전력 소비를 측정한다.
• 에너지 사용을 등가 탄소 배출로 변환하기 위해 지역별 탄소 강도 계수(gCO2/kWh)를 적용하여 지리적으로 정확한 회계를 보장한다.
• 결과의 진위성과 무결성을 확보하기 위해 암호화된 출력 로깅을 지원하여 재현 가능한 보고를 보장한다.
• 프로젝트 메타데이터, 지속 시간, 에너지 사용(kWh), 이산화탄소 배출(kg), 하드웨어 사양 등을 포함한 CSV 형식의 구조화된 출력을 생성한다.
• 사용자가 정의한 전기 요금을 사용하여 재정적 비용을 옵션으로 계산하는 요약 기능을 포함한다.

실험 결과

연구 질문

• RQ1 기계학습 모델의 훈련 및 추론 과정에서 에너지 소비와 이산화탄소 배출을 실시간으로 정확하게 추적할 수 있는 방법은 무엇인가?
• RQ2 4비트 양자화와 같은 모델 최적화 기법이 에너지 소비와 등가 이산화탄소 배출을 얼마나 줄일 수 있는가?
• RQ3 지역별 탄소 강도 데이터는 기계학습 훈련 추적에 어떻게 효과적으로 통합될 수 있으며, 배출 추정 정확도를 향상시킬 수 있는가?
• RQ4 자동화된 탄소 배출 추적은 더 지속 가능하고 효율적인 AI 모델 설계를 이끌어내는 데 어떤 역할을 할 수 있는가?
• RQ5 eco2AI와 같은 탄소 배출 추적 도구는 실질적으로 그린 AI와 지속 가능한 AI로의 전환을 어떻게 지원할 수 있는가?

주요 결과

• eco2AI 라이브러리는 정밀한 장치 수준 전력 측정과 지역별 배출 계수를 사용하여 높은 정확도로 실시간 에너지 소비와 이산화탄소 배출을 추적하는 데 성공했다.
• Malevich 모델 훈련에서 GELU 활성화 함수에 4비트 양자화를 적용함으로써 전력 소비와 이산화탄소 배출이 각각 약 10% 감소했다.
• 전체 정밀도 모델과 양자화된 모델을 비교함으로써 라이브러리가 모델 최적화에 실질적인 유용성을 지닌다는 것이 입증되었다.
• eco2AI는 연구자가 다양한 모델 아키텍처와 하이퍼파rameter의 환경 영향을 비교할 수 있도록 하여 데이터 기반의 지속 가능성 의사결정을 지원한다.
• 암호화된 로깅과 재정 비용 추정 기능을 지원하여 탄소 배출 보고의 투명성과 재현 가능성을 향상시켰다.
• 데코레이터나 컨텍스트 매니저를 통해 훈련 워크플로우에 eco2AI를 통합하는 것은 매우 단순하며, 최소한의 코드 변경으로 가능하다.