[論文レビュー] Impossibility Results in AI: A Survey

Mario Brčić, Roman V. Yampolskiy|arXiv (Cornell University)|Sep 1, 2021

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本調査は、人工知能における不可能性定理を、帰納、同一性不能、帰納、トレードオフ、計算困難性の5つのメカニズムに基づくクラスに分類し、AIの安全性、整合性、制御可能性における根本的な限界を強調している。100%のセキュリティ保証を排除する帰納的不可能性を含め、説明可能性の不平等性やエージェントにおける自己認識の制約といった、新規の結果を提示している。

ABSTRACT

An impossibility theorem demonstrates that a particular problem or set of problems cannot be solved as described in the claim. Such theorems put limits on what is possible to do concerning artificial intelligence, especially the super-intelligent one. As such, these results serve as guidelines, reminders, and warnings to AI safety, AI policy, and governance researchers. These might enable solutions to some long-standing questions in the form of formalizing theories in the framework of constraint satisfaction without committing to one option. We strongly believe this to be the most prudent approach to long-term AI safety initiatives. In this paper, we have categorized impossibility theorems applicable to AI into five mechanism-based categories: deduction, indistinguishability, induction, tradeoffs, and intractability. We found that certain theorems are too specific or have implicit assumptions that limit application. Also, we added new results (theorems) such as the unfairness of explainability, the first explainability-related result in the induction category. The remaining results deal with misalignment between the clones and put a limit to the self-awareness of agents. We concluded that deductive impossibilities deny 100%-guarantees for security. In the end, we give some ideas that hold potential in explainability, controllability, value alignment, ethics, and group decision-making. They can be deepened by further investigation.

研究の動機と目的

• 帰納、帰納、計算困難性などの根幹的メカニズムに基づいて、AIにおける不可能性定理を体系的に分類すること。
• AIの安全性、整合性、制御可能性における本質的限界を特定・形式化すること、特にスーパーアルゴリズム系において。
• 説明可能性の不平等性やエージェントの自己認識に関する制約といった、軽視されがちなあるいは新しく導出された結果を強調すること。
• 特定の解決策に過度にコミットしない制約満たしフレームワークを提供することで、長期的なAI安全性イニシャチブを支援すること。
• 形式化された不可能性制約の下での説明可能性、価値の整合性、倫理、グループ意思決定に関するさらなる研究を刺激すること。

提案手法

• 著者らは、既存の不可能性定理を、帰納、同一性不能、帰納、トレードオフ、計算困難性の5つのメカニズムに基づくカテゴリに分類している。
• 既知の定理の仮定と適用範囲を分析し、広範な応用に制限を受ける過度に狭いまたは暗黙の仮定に依存するものを同定している。
• 本稿では、帰納のカテゴリに属する説明可能性に関する形式的不可能性結果という、新たな理論的結果を提示している。
• エージェントのクローン化と自己複製が自己認識に与える影響を検討し、このような能力に内在する限界を示している。
• 制約満たしに基づくフレームワークは、特定のAIアーキテクチャやセーフティメカニズムにコミットせずに理論を形式化可能である。
• 理論的分析は、AIセーフティ、倫理、ガバナンス分野の文献から103件の参照を包括的にレビューすることで裏付けられている。

実験結果

リサーチクエスチョン

• RQ1 不可能性定理が、安全かつ制御可能なスーパーアルゴリズムAIの開発に課す根本的限界は何か？
• RQ2 帰納的不可能性は、AIセキュリティおよび整合性における100%の保証をどのように妨げるのか？
• RQ3 帰納カテゴリにおける新しい不可能性結果によって形式化された説明可能性の本質的限界は、どのような形で現れるのか？
• RQ4 クローン化と自己複製は、知能エージェントの自己認識をどの程度制限するのか？
• RQ5 制約満たしフレームワークは、特定の解決策を事前に定義しないでAIセーフティ理論を形式化するためにどのように利用できるか？

主な発見

• 帰納的不可能性は、AIシステムにおける100%保証可能なセキュリティを本質的に不可能にし、検証可能な安全性の根本的上限を確立する。
• 本稿では、帰納的推論の文脈において特に顕著な、AIにおける説明可能性の本質的不平等性を示す、新規の不可能性結果を提示している。
• エージェントがクローン化される場合、自己認識に制約が生じ、完全な自己認識はそのようなシステムで達成できないことを示している。
• 多くの既存の不可能性定理は、適用範囲が広くないか、一般応用に制限を受ける暗黙の仮定に依存している。
• 制約満たしフレームワークは、特定のアーキテクチャや整合性アプローチにコミットしないでAIセーフティ理論を形式化するための実用的道筋を提供する。
• 本調査は、説明可能性、制御性、価値の整合性、倫理、グループ意思決定に関する、形式的不可能性結果に基づく有望な研究方向性を同定している。