[論文レビュー] Can Intelligence Explode?

Marcus Hütter|arXiv (Cornell University)|Feb 28, 2012

Computability, Logic, AI Algorithms参考文献 34被引用数 15

ひとこと要約

この論文は、技術的特異点において知能が「爆発的拡大」するかどうかを検討し、知能の爆発的拡大が自明ではなく、知能の明確な定義を必要とするとしている。本稿では、普遍的知能を形式的枠組みとして提唱し、外部から見れば速度の増加は観察可能だが、エージェントが同時に進化する場合、内部的には知能の爆発的拡大を感じない可能性があり、特異点の存在と認識の間でパラドックスが生じるとしている。

ABSTRACT

The technological singularity refers to a hypothetical scenario in which technological advances virtually explode. The most popular scenario is the creation of super-intelligent algorithms that recursively create ever higher intelligences. It took many decades for these ideas to spread from science fiction to popular science magazines and finally to attract the attention of serious philosophers. David Chalmers' (JCS 2010) article is the first comprehensive philosophical analysis of the singularity in a respected philosophy journal. The motivation of my article is to augment Chalmers' and to discuss some issues not addressed by him, in particular what it could mean for intelligence to explode. In this course, I will (have to) provide a more careful treatment of what intelligence actually is, separate speed from intelligence explosion, compare what super-intelligent participants and classical human observers might experience and do, discuss immediate implications for the diversity and value of life, consider possible bounds on intelligence, and contemplate intelligences right at the singularity.

研究の動機と目的

• 技術的特異点の文脈における「知能の爆発的拡大」とは何かを明確にし、一般論において曖昧な仮定に挑戦すること。
• 参加者が均一に加速されている場合、知能の爆発的拡大が認識されない可能性があるというパラドックスに対処すること。
• 仮想社会における合理的エージェントの集団が、特異点後の状況における生命の価値、多様性、および倫理的基準に与える影響を探ること。
• 超知能システムの分析の基盤として、普遍的知能理論を用いて知能を形式化すること。
• 速度の爆発と知能の爆発の違いを検討し、急速な進歩があっても後者が保証されない理由を明らかにすること。

提案手法

• 自己改善が可能な合理的で目的志向のエージェントをモデル化するため、普遍的知能（AIXIに類似したエージェント）の形式的枠組みを用いる。
• 特異点を二つの視点から分析する：『外部』（参加しない観察者）と『内部』（加速するシステムに参加する者）。
• 進化的圧力モデルを適用し、計算リソースをめぐる競争が仮想社会における知能の増加を促す可能性を示す。
• 物理的時間で測定可能な速度の爆発と、主観的な認知的進歩を意味する知能の爆発を対比し、両者が同等ではないことを示す。
• 「特異点的知能」という概念を導入する——これは、制限された計算枠組み内で最大限に知能的かつ自己一貫的に合理的なエージェントを指す。
• 意識の継続性と自己同一性の問題を検討するため、ミンドローディング、仮想化、基盤独立性を含む思考実験を用いる。

実験結果

リサーチクエスチョン

• RQ1 内部者も外部者もそれを認識しない場合、知能が「爆発的拡大」するとはどういう意味か？
• RQ2 超知能システムの理論的分析を可能にするような、知能を形式的に定義することは可能か？
• RQ3 なぜ速度の爆発が知能の爆発を伴わない場合があり、逆に知能の爆発が速度の爆発を伴わない場合があるのか？
• RQ4 意識が容易に複製・変更・終了可能な社会では、個々の生命の価値はどのように変化するだろうか？
• RQ5 普遍的知能が、最大の知能の存在可能性と認知的進化の限界に与える影響は何か？

主な発見

• 急速な技術的進歩があっても、知能の爆発的拡大は保証されない。それは形式的かつ操作的な知能の定義に依存する。
• 外部から見れば、特異点は速度の爆発や混沌としたノイズとして現れるが、必ずしも知能の爆発的拡大として認識されない。
• 自己加速するシステムに参加する者たちは、自分自身が加速されているため、爆発を経験しない可能性があり、認識のパラドックスが生じる。
• 豊富に複製可能なエージェントが存在する仮想社会では、個々の生命の価値が著しく低下し、廃棄可能になるおそれと倫理観の変化が生じる。
• 普遍的知能は、超知能エージェントの分析の理論的基盤を提供し、知能が根本的に限界を持つ可能性を示唆する。
• 資源が制限された仮想世界において、進化的圧力が作用することで、最大限に知能的で合理的なエージェントの社会が出現する可能性があるが、その特異点は人間には認識されないかもしれない。