[논문 리뷰] Sustainable AI: Environmental Implications, Challenges and Opportunities

Carole-Jean Wu, Ramya Raghavendra외 23명|arXiv (Cornell University)|2021. 10. 30.

Green IT and Sustainability참고 문헌 100인용 수 346

한 줄 요약

논문은 데이터, 실험, 학습, 추론, 하드웨어 수명주기에 걸친 AI의 환경적 발자국에 대한 포괄적이고 엔드투엔드 평가를 제시하고, 교차 스택 최적화 및 지속 가능성 방향을 제시한다.

ABSTRACT

This paper explores the environmental impact of the super-linear growth trends for AI from a holistic perspective, spanning Data, Algorithms, and System Hardware. We characterize the carbon footprint of AI computing by examining the model development cycle across industry-scale machine learning use cases and, at the same time, considering the life cycle of system hardware. Taking a step further, we capture the operational and manufacturing carbon footprint of AI computing and present an end-to-end analysis for what and how hardware-software design and at-scale optimization can help reduce the overall carbon footprint of AI. Based on the industry experience and lessons learned, we share the key challenges and chart out important development directions across the many dimensions of AI. We hope the key messages and insights presented in this paper can inspire the community to advance the field of AI in an environmentally-responsible manner.

연구 동기 및 목표

• 데이터, 모델, 하드웨어의 급속한 성장에 따라 AI의 환경적 함의에 대한 이해를 고취한다.
• ML 개발 주기와 하드웨어 수명 주기에 걸친 운영 탄소 및 구현 탄소 발자국을 특성화한다.
• 데이터, 알고리즘, 시스템 및 하드웨어 설계를 통해 AI의 환경적 영향을 줄이기 위한 도전과 기회를 식별한다.
• 환경적으로 책임 있는 AI를 가능하게 하는 개발 방향과 모범 사례를 제시한다.
• 페이스북 규모의 활용 사례로 영향을 설명하고 OSS 모델과 비교하여 향후 연구에 정보를 제공한다.

제안 방법

• 데이터 처리에서 추론 및 하드웨어 수명주기에 이르기까지 AI 컴퓨팅의 전체 환경 발자국을 포괄적으로 평가한다.
• 제조(구현)와 운영(운영) 배출을 구분하기 위한 수명주기 평가(LCA) 프레임워크를 사용한다.
• 페이스북의 생산 ML 모델 여섯 개에 대한 실증 분석 및 일곱 개 OSS 모델과의 비교(예: BERT-NAS, T5, Meena, GShard-600B, Switch Transformer, GPT-3).
• 교차 스택 하드웨어-소프트웨어 공동 설계를 통해 잠재적 운영 탄소 감소를 보여준다(예: Transformer LM이 특정 분석에서 약 800배의 최적화 이득을 달성).
• 데이터, 실험, 학습, 추론에 걸친 에너지 및 탄소 발자국의 정량화, 플랫폼, 인프라 및 하드웨어 최적화를 포함합니다.]
• table_headers: []
• table_rows: []

실험 결과

연구 질문

• RQ1 산업 규모에서 모델 개발 주기와 하드웨어 수명주기에 걸친 AI 컴퓨팅의 탄소 발자국은 어느 정도인가?
• RQ2 운영 탄소와 구현 탄소가 전체 AI 발자국에 어떻게 기여하며, 하드웨어-소프트웨어 공동 설계가 이를 어떻게 감소시킬 수 있는가?
• RQ3 데이터, 알고리즘, 시스템 및 하드웨어의 어떤 최적화 경로가 특히 언어 모델과 추천 모델의 학습 및 추론에서 배출을 가장 효과적으로 줄이는가?
• RQ4 AI 연구 및 산업 현장에서 지속 가능성 의식을 구축하기 위한 실질적 도전과 방향은 무엇인가?
• RQ5 페이스북 규모의 모델이 탄소 효율성 측면에서 OSS 기준선과 어떻게 비교되며, 어디에서 구현 비용이 지배적인가?

주요 결과

• 구현 탄소는 대규모 ML 작업에서 제조 및 사용 배출의 대략 50%를 차지해 하드웨어 생산이 초기 단계의 주요 기여자임을 시사한다.
• 페이스북 모델 전반에 걸쳐 평균 운영 탄소 발자국은 Meena보다 1.8배 크고 GPT-3의 학습 발자국의 약 3분의 1 수준이다.
• 하드웨어-소프트웨어 공동 설계는 AI 인프라의 지속적 확장에도 불구하고 2년간 운영 전력 발자국을 평균 28.5% 감소시켰다.
• 언어 모델의 경우 플랫폼 캐싱, GPU 가속, 저정밀 포맷, 알고리즘 개선 등을 포함한 최적화 단계가 엔드투엔드 자원 사용을 800배 이상 줄일 수 있다.
• 양자화 및 메모리 효율 기술은 메모리 대역폭을 감소시키고 더 작고 전력 효율적인 배포를 가능하게 하며, 특히 RM1–RM5 배포를 개선한다.
• 모델 개발과 시스템 스택 전반의 최적화가 큰 개선을 가져오지만 Jevon’s paradox는 지속적인 AI 성장으로 인해 전체 에너지 수요가 여전히 증가할 수 있음을 시사한다.