[논문 리뷰] On the Opportunities of Green Computing: A Survey

Y. Zhou, Xiujing Lin외 39명|arXiv (Cornell University)|2023. 11. 01.

Green IT and Sustainability인용 수 9

한 줄 요약

본 조사는 자원 사용과 환경 영향을 균형 있게 고려하는 Green Computing 프레임워크를 제시하고, 모델 설계, 학습, 추론, 시스템 전반의 기법들을 검토합니다.

ABSTRACT

Artificial Intelligence (AI) has achieved significant advancements in technology and research with the development over several decades, and is widely used in many areas including computing vision, natural language processing, time-series analysis, speech synthesis, etc. During the age of deep learning, especially with the arise of Large Language Models, a large majority of researchers' attention is paid on pursuing new state-of-the-art (SOTA) results, resulting in ever increasing of model size and computational complexity. The needs for high computing power brings higher carbon emission and undermines research fairness by preventing small or medium-sized research institutions and companies with limited funding in participating in research. To tackle the challenges of computing resources and environmental impact of AI, Green Computing has become a hot research topic. In this survey, we give a systematic overview of the technologies used in Green Computing. We propose the framework of Green Computing and devide it into four key components: (1) Measures of Greenness, (2) Energy-Efficient AI, (3) Energy-Efficient Computing Systems and (4) AI Use Cases for Sustainability. For each components, we discuss the research progress made and the commonly used techniques to optimize the AI efficiency. We conclude that this new research direction has the potential to address the conflicts between resource constraints and AI development. We encourage more researchers to put attention on this direction and make AI more environmental friendly.

연구 동기 및 목표

• AI 개발에서 자원 및 환경 문제를 addressed Green Computing의 필요성을 제시합니다.
• 네 가지 구성 요소의 Green Computing 프레임워크를 제안합니다(그린니스 측정, 에너지 효율적 AI, 에너지 효율적 컴퓨팅 시스템, 지속 가능성을 위한 AI 활용 사례).
• 설계, 학습, 추론 및 배치 단계에서 AI 효율성 향상을 위한 현황과 기법을 검토합니다.
• 환경 친화적 AI 연구와 실천을 촉진하기 위한 기회, 도전 과제 및 향후 방향을 밝힙니다.

제안 방법

• 네 가지 구성 요소로 Green Computing 프레임워크를 정의하고 각각의 역할을 설명합니다.
• 실행 시간, 모델 크기, FLOPs, 하드웨어 전력, 에너지 및 탄소 배출을 포함한 Greenliness 측정 지표를 검토합니다.
• 컴팩트 모듈, NAS, 가지치기, 양자화, 증류, 조기 종료 등 에너지 효율적 모델 설계, 학습 및 추론 기법을 조사합니다.
• 배포를 위한 에너지 효율적 컴퓨팅 시스템 및 데이터 관리 관행을 논의합니다.
• Green Large Language Models 및 지속 가능성 활용 사례를 examine합니다.
• 그린니스 및 탄소 발자추를 추적하기 위한 도구 키트와 지표를 식별합니다.

실험 결과

연구 질문

• RQ1 AI 시스템의 그린니스를 가장 잘 정량화하는 요인과 지표는 무엇인가?
• RQ2 성능 저하 없이 모델 설계, 학습 및 추론에서 에너지 효율성을 최적화하는 기법은 무엇인가?
• RQ3 그린 컴퓨팅을 AI 시스템 및 워크플로우에 통합하여 지속 가능성과 형평성을 촉진하려면 어떻게 해야 하는가?
• RQ4 연구 및 산업계에서 Green Computing을 도입하기 위한 실질적 기회와 과제는 무엇인가?

주요 결과

• Green Computing은 측정, 에너지 효율적 AI, 시스템, 지속 가능한 활용 사례의 네 가지 구성 요소 프레임워크로 구성됩니다.
• 일반적인 그린니스 지표로는 실행 시간, 모델 크기, FLOPs, 하드웨어 전력, 에너지 및 탄소 배출이 포함됩니다.
• 에너지 효율적 모델 설계 및 학습을 위한 광범위한 기법과 가지치기, 양자화, 증류, 조기 종료와 같은 추론 최적화 기법이 존재합니다.
• 도구 키트와 프레임워크(예: FLOPs, 에너지 및 탄소를 추적)가 AI 그린니스를 측정하고 투명한 벤치마킹을 가능하게 합니다.
• Green Computing은 비용 감소, 에지 배포 가능성 향상 및 자원 장벽을 낮춰 연구 형평성을 촉진할 기회를 제공합니다.
• 본 조사는 환경 및 사회적 고려와 AI 발전의 균형 가능성을 강조합니다.