[論文レビュー] Sustainable AI: Environmental Implications, Challenges and Opportunities

Carole-Jean Wu, Ramya Raghavendra+23 more|arXiv (Cornell University)|Oct 30, 2021

Green IT and Sustainability参考文献 100被引用数 346

ひとこと要約

この論文はデータ、実験、訓練、推論、ハードウェアのライフサイクル全体にわたるAIの環境フットプリントを総合的に評価し、クロススタック最適化と持続可能性の方向性を概説します。

ABSTRACT

This paper explores the environmental impact of the super-linear growth trends for AI from a holistic perspective, spanning Data, Algorithms, and System Hardware. We characterize the carbon footprint of AI computing by examining the model development cycle across industry-scale machine learning use cases and, at the same time, considering the life cycle of system hardware. Taking a step further, we capture the operational and manufacturing carbon footprint of AI computing and present an end-to-end analysis for what and how hardware-software design and at-scale optimization can help reduce the overall carbon footprint of AI. Based on the industry experience and lessons learned, we share the key challenges and chart out important development directions across the many dimensions of AI. We hope the key messages and insights presented in this paper can inspire the community to advance the field of AI in an environmentally-responsible manner.

研究の動機と目的

• データ、モデル、ハードウェアの急速な成長を踏まえ、AIの環境影響を理解する動機付け。
• ML開発サイクルとハードウェアライフサイクル全体にわたる運用炭素と体現炭素のフットプリントを特徴づける。
• データ・アルゴリズム・システム・ハードウェア設計を通じてAIの環境影響を低減するための課題と機会を特定する。
• 環境に責任あるAIを実現するための開発方針とベストプラクティスを提案する。
• Facebook規模のユースケースで影響を示し、今後の研究の指針としてOSSモデルと比較する。

提案手法

• データ処理から推論、ハードウェアライフサイクルまで、AI計算全体の総合的な環境フットプリント評価。
• 製造（体現）と運用（運用）排出を分離するライフサイクルアセスメント（LCA）フレームワーク。
• Facebookの6つの生産MLモデルの実証分析と、7つのOSSモデルとの比較（例：BERT-NAS、T5、Meena、GShard-600B、Switch Transformer、GPT-3）
• クロススタックのハードウェア–ソフトウェア共設計により、潜在的な運用炭素削減を示す（例：特定の分析でTransformer LMが約800倍の最適化利得を達成）
• データ、実験、訓練、推論にわたるエネルギーおよび炭素フットプリントを定量化し、プラットフォーム、インフラ、ハードウェアの最適化を含む。

実験結果

リサーチクエスチョン

• RQ1 産業規模でのモデル開発サイクルとハードウェアライフサイクル全体におけるAI計算の炭素フットプリントはどれくらいか？
• RQ2 運用炭素と体現炭素が全体のAIフットプリントにどのように寄与するか、そしてハードウェア–ソフトウェア共設計でそれをどう削減できるか？
• RQ3 トレーニングと推論の排出を最も効果的に削減する最適化経路（データ、アルゴリズム、システム、ハードウェア）は何か、特に言語モデルや推奨モデルに対して？
• RQ4 AI研究と産業実践において持続可能性の意識を育むための実務上の課題と方向性は何か？
• RQ5 Facebook規模のモデルは炭素効率の点でOSSベースラインとどう比較され、どこで体現コストが支配的になるか？

主な発見

• 体現炭素は大規模MLタスクの製造および使用における排出量のおおよそ50%を占めることがあり、ハードウェア製造が初期段階の主要な寄与者となる。
• Facebookモデル全体で、平均的な運用炭素フットプリントはMeenaの1.8倍、GPT-3の訓練フットプリントの約3分の1程度である。
• ハードウェア–ソフトウェア共設計により、AIインフラのスケールアウトが継続するにもかかわらず、2年間で運用電力フットプリントを平均28.5%削減した。
• 言語モデルでは、プラットフォームキャッシュ、GPU加速、低精度フォーマット、アルゴリズムの改善などの最適化手順により、エンドツーエンドのリソース使用量を800倍超削減できる場合がある。
• 量子化とメモリ効率技術はメモリ帯域を削減し、より小さく電力効率の高いデプロイを可能にし、特にRM1–RM5デプロイを改善する。
• モデル開発とシステムスタック全体の最適化は大きな改善をもたらすが、Jevonのパラドックスにより、AI成長が続くと全体のエネルギー需要が依然として増える可能性がある。