[論文レビュー] On the Opportunities of Green Computing: A Survey

Y. Zhou, Xiujing Lin+39 more|arXiv (Cornell University)|Nov 1, 2023

Green IT and Sustainability被引用数 9

ひとこと要約

この調査は、AIの性能と資源使用および環境影響のバランスを取るためのGreen Computingのフレームワークを提示し、モデル設計、トレーニング、推論、システムにわたる技術をレビューする。

ABSTRACT

Artificial Intelligence (AI) has achieved significant advancements in technology and research with the development over several decades, and is widely used in many areas including computing vision, natural language processing, time-series analysis, speech synthesis, etc. During the age of deep learning, especially with the arise of Large Language Models, a large majority of researchers' attention is paid on pursuing new state-of-the-art (SOTA) results, resulting in ever increasing of model size and computational complexity. The needs for high computing power brings higher carbon emission and undermines research fairness by preventing small or medium-sized research institutions and companies with limited funding in participating in research. To tackle the challenges of computing resources and environmental impact of AI, Green Computing has become a hot research topic. In this survey, we give a systematic overview of the technologies used in Green Computing. We propose the framework of Green Computing and devide it into four key components: (1) Measures of Greenness, (2) Energy-Efficient AI, (3) Energy-Efficient Computing Systems and (4) AI Use Cases for Sustainability. For each components, we discuss the research progress made and the commonly used techniques to optimize the AI efficiency. We conclude that this new research direction has the potential to address the conflicts between resource constraints and AI development. We encourage more researchers to put attention on this direction and make AI more environmental friendly.

研究の動機と目的

• AI開発における資源と環境問題に対処するためのGreen Computingの必要性を動機づける。
• 四つの要素からなるGreen Computingのフレームワークを提案する（Greennessの測定、エネルギー効率の高いAI、エネルギー効率の高い計算システム、持続可能性のためのAIユースケース）。
• 設計、トレーニング、推論、展開段階でAIの効率性を向上させる現在の進展と技術を調査する。
• 環境に優しいAI研究と実践を促進する機会、課題、将来の方向性を強調する。

提案手法

• 四つの構成要素からなるGreen Computingフレームワークを定義し、それぞれの役割を説明する。
• Running time、model size、FLOPs、hardware power、energy、and carbon emissionを含むGreennessの測定を検討する。
• エネルギー効率の高いモデル設計、トレーニング、および推論技術の調査（例：コンパクトモジュール、NAS、pruning、quantization、distillation、early exit）。
• 展開のためのエネルギー効率の高い計算システムとデータ管理慣行を議論する。
• Green Large Language Models and AI for sustainability use casesを検討する。
• Greennessとカーボンフットプリントを追跡するツールキットと指標を特定する。

実験結果

リサーチクエスチョン

• RQ1 AIシステムのグリーンさを最もよく定量化する要因と指標は何か？
• RQ2 性能を犠牲にせず、モデル設計、トレーニング、推論におけるエネルギー効率を最適化する技術は何か？
• RQ3 Green ComputingをAIシステムとワークフローに統合して持続可能性と公平性を促進するにはどうすればよいか？
• RQ4 研究と産業界でGreen Computingを採用する実践的な機会と課題は何か？

主な発見

• Green Computingは、Greennessの測定、エネルギー効率の高いAI、システム、持続可能性のユースケースという4つの要素からなるフレームワークとして位置づけられる。
• 一般的なGreenness指標には、running time、model size、FLOPs、hardware power、energy、およびcarbon emissionsが含まれる。
• エネルギー効率の高いモデル設計とトレーニングのための広範な技術があり、推論の最適化にはpruning、quantization、distillation、early exitなどがある。
• ツールキットとフレームワーク（例：FLOPs、energy、carbonの追跡）を用いてAIのグリーンさを測定することができ、透明なベンチマークを可能にする。
• Green Computingはコスト削減、エッジ展開の実現、資源の障壁を下げることによる研究の公平性の促進という機会を提供する。
• この調査は、環境および社会的配慮とともにAIの進歩をバランスさせるGreen Computingの可能性を強調している。