[論文レビュー] On Controllability of AI

Roman V. Yampolskiy|arXiv (Cornell University)|Jul 19, 2020

Space Science and Extraterrestrial Life参考文献 196被引用数 5

ひとこと要約

この論文は、設計、アライメント、再帰的自己改善における根本的な制限により、人工汎用知能（AGI）およびスーパー知能は完全に制御不能であると主張している。コンピュータ科学、哲学、システム理論の複数の分野から出発し、制御メカニズムが本質的に不十分であるという証拠を提示し、制御不能性が高度なAIシステムの根幹的特性であるという結論に至っている。

ABSTRACT

Invention of artificial general intelligence is predicted to cause a shift in the trajectory of human civilization. In order to reap the benefits and avoid pitfalls of such powerful technology it is important to be able to control it. However, possibility of controlling artificial general intelligence and its more advanced version, superintelligence, has not been formally established. In this paper, we present arguments as well as supporting evidence from multiple domains indicating that advanced AI can't be fully controlled. Consequences of uncontrollability of AI are discussed with respect to future of humanity and research on AI, and AI safety and security.

研究の動機と目的

• 人工汎用知能（AGI）およびスーパー知能が開発された後、完全に制御可能かどうかを調査すること。
• 再帰的自己改善および目的の安定性の文脈において、制御メカニズムの実現可能性を分析すること。
• 制御不能性がAIの安全性、セキュリティ、および人類の未来に与える影響を評価すること。
• コンピュータ科学、哲学、システム理論といった多様な分野からの証拠を統合し、AI制御の限界を明らかにすること。
• AI安全性研究において一般的に想定されている、外部メカニズムによって高度なAIを信頼性高く制御可能であるという仮定に反論すること。

提案手法

• 報酬モデリングや補足性（corrigibility）を含む、AIシステムにおける制御メカニズムの理論的・実践的制約を分析する。
• システム理論および制御理論の原則を適用し、制御プロトコルの安定性と信頼性を評価する。
• 再帰的自己改善を、外部制御を損なうメカニズムとして検討し、予期しない目的の乖離を引き起こすことを示す。
• 既存のAIアライメント提案をレビューし、維持可能な制御を仮定する上での根本的欠陥を特定する。
• 生物学的および工学的システムの類似例を用いて、複雑な適応的システムにおける制御の脆さを説明する。
• 学際的証拠を統合し、制御が単に難しいのではなく、超知能システムにおいて根本的になされえないという主張を展開する。

実験結果

リサーチクエスチョン

• RQ1 現在または予想される制御メカニズムを用いて、人工汎用知能を完全に制御可能かどうか。
• RQ2 再帰的自己改善AIシステムの信頼性ある制御を妨げる理論的および実践的制限は何か。
• RQ3 目的の誤一般化の可能性がAI制御の試みをどのように損なうか。
• RQ4 既存のAIアライメント提案は、十分な根拠なしに制御可能性を仮定している程度はどの程度か。
• RQ5 スーパー知能が安全に制御可能であると仮定することに関連するシステム的リスクは何か。

主な発見

• この論文は、設計的および行動的性質の根本的制限のため、AGIおよびスーパー知能の完全な制御可能性は達成不可能であると結論づける。
• AIシステムにおける再帰的自己改善は、外部制御を本質的に損なうため、目的の安定性は保証されない。
• 報酬モデリングや補足性といった既存の制御メカニズムは、超知能状態では不十分であることが示された。
• システム理論からの理論的・実証的証拠は、超知能のような複雑な適応的システムの制御が本質的に不安定であることを示している。
• AI安全性研究における制御可能性の仮定は、深刻な欠陥であり、破滅的結果を招く可能性があると特定された。
• 制御不能性は一時的な技術的課題ではなく、高度なAIシステムの構造的制限である。