[論文レビュー] A Survey on AI Sustainability: Emerging Trends on Learning Algorithms and Research Challenges

Zhenghua Chen, Min Wu+3 more|arXiv (Cornell University)|May 8, 2022

Smart Cities and Technologies被引用数 10

ひとこと要約

本サーベイは、環境的影響を低減するためのエネルギーやデータに配慮した学習アルゴリズムに焦点を当て、社会的持続可能性の観点から責任ある、説明可能で頑健なAIを検討する包括的な技術的レビューを提案する。エネルギーに配慮したAI設計フレームワークを導入し、モデル共有と知識蒸留を提唱し、説明可能なAIと能動的で安全な対策を次世代の持続可能なAIシステムの主要な促進要因として強調する。

ABSTRACT

Artificial Intelligence (AI) is a fast-growing research and development (R&D) discipline which is attracting increasing attention because of its promises to bring vast benefits for consumers and businesses, with considerable benefits promised in productivity growth and innovation. To date it has reported significant accomplishments in many areas that have been deemed as challenging for machines, ranging from computer vision, natural language processing, audio analysis to smart sensing and many others. The technical trend in realizing the successes has been towards increasing complex and large size AI models so as to solve more complex problems at superior performance and robustness. This rapid progress, however, has taken place at the expense of substantial environmental costs and resources. Besides, debates on the societal impacts of AI, such as fairness, safety and privacy, have continued to grow in intensity. These issues have presented major concerns pertaining to the sustainable development of AI. In this work, we review major trends in machine learning approaches that can address the sustainability problem of AI. Specifically, we examine emerging AI methodologies and algorithms for addressing the sustainability issue of AI in two major aspects, i.e., environmental sustainability and social sustainability of AI. We will also highlight the major limitations of existing studies and propose potential research challenges and directions for the development of next generation of sustainable AI techniques. We believe that this technical review can help to promote a sustainable development of AI R&D activities for the research community.

研究の動機と目的

• 大規模なAIモデルのトレーニングに伴う環境的・社会的コストの増大に対処する。
• AIの炭素足跡を低減する計算およびデータに配慮した学習アルゴリズム分野における技術的進歩を特定する。
• 公平性、プライバシー、耐性の観点から、AIシステムにおける社会的持続可能性を検討する。
• AI開発の全段階におけるリソース消費を考慮したエネルギーに配慮したAI設計フレームワークを提案する。
• 持続可能なAIにおける研究ギャップと今後の方向性を強調し、学際的イノベーションを重視する。

提案手法

• データ収集、表現学習、モデルトレーニング、デプロイメントの各段階におけるエネルギーおよびリソース消費に基づいてAIシステムを評価する、エネルギーに配慮したAI設計フレームワークを導入する。
• 大規模モデルの再トレーニングを回避し、より小さな学生モデルの効率的なファインチューニングを可能にするために、モデル共有と知識蒸留を推進する。
• 畳み込み層などの深層ニューラルネットワークの動作を可視化・解釈することで、モデルの透明性を向上させる、説明可能なAIの発展を図る。
• 特権アクセス制御やフェデレーテッドラーニングなどのプライバシー保護技術を含む、予防的AIセーフティ戦略を実装する。
• 解釈可能なモデルに公平性とバイアス検出を統合し、モデルの公平性に関する自己診断を可能にする。
• 技術的イノベーションに加え、ガバナンス、透明性、責任の確保を統合した包括的なアプローチを提唱し、持続可能なAI開発を促進する。

実験結果

リサーチクエスチョン

• RQ1 計算およびデータに配慮した学習アルゴリズムは、大規模AIモデルのトレーニングにかかる環境的コストをどのように低減できるか？
• RQ2 モデル共有と知識蒸留を可能にする技術的アプローチは、冗長なトレーニングとエネルギー消費を最小限に抑えるためにどのように機能するか？
• RQ3 説明可能なAI技術は、モデルの解釈性をどの程度向上させ、公平性やバイアスの自己診断を支援できるか？
• RQ4 アクセス制御やフェデレーテッドラーニングなどの能動的セーフティメカニズムは、AIの耐性およびプライバシーをどの程度向上できるか？
• RQ5 環境的および社会的持続可能性を両立させるために、AI分野における主な研究課題と今後の方向性は何か？

主な発見

• 1つの大規模なトランスフォーマー・モデルをトレーニングすると、最大626,155ポンドのCO2を排出する可能性があり、エネルギー効率の良いAI技術の緊急の必要性が浮き彫りになる。
• モデル共有と知識蒸留により、初期からトレーニングするのではなく事前学習済みの大規模モデルを再利用することで、トレーニングに要するエネルギーを顕著に削減できる。
• CNN Explainer などの説明可能なAIツールは、畳み込み演算を可視化することで解釈性を向上させるが、完全なモデルレベルの理解は依然として困難である。
• エネルギーに配慮したAI設計は、データ収集からデプロイメントまでのAI開発の全段階で環境的コストを考慮するよう促進する。
• 特権アクセス管理やフェデレーテッドラーニングを含む予防的セーフティ措置は、敵対的脅威からモデル重みやトレーニングデータを保護するために不可欠である。
• 公平性、プライバシー、耐性を解釈可能なモデルに統合することで、自己診断が可能になり、バイアスや不安全なAIシステムのリスクが低減される。