[論文レビュー] A Theory of Universal Artificial Intelligence based on Algorithmic Complexity

Marcus Hütter|ArXiv.org|Apr 3, 2000

Computability, Logic, AI Algorithms参考文献 34被引用数 58

ひとこと要約

この論文は、アルゴリズム的複雑性とベイズ意思決定理論に基づき、パラメータフリーで普遍的な人工知能モデル（AIξ）を提案する。このモデルは、普遍的インダクションと逐次的意思決定を統合し、理論的に最も知能的で偏りのないエージェントであることを証明する。時間制限付きの変種（AIξtl）も提示され、実用上は計算不能であるが、他のいかなる時間・空間制限付きエージェントよりも知能が高く保たれる。

ABSTRACT

Decision theory formally solves the problem of rational agents in uncertain worlds if the true environmental prior probability distribution is known. Solomonoff's theory of universal induction formally solves the problem of sequence prediction for unknown prior distribution. We combine both ideas and get a parameterless theory of universal Artificial Intelligence. We give strong arguments that the resulting AIXI model is the most intelligent unbiased agent possible. We outline for a number of problem classes, including sequence prediction, strategic games, function minimization, reinforcement and supervised learning, how the AIXI model can formally solve them. The major drawback of the AIXI model is that it is uncomputable. To overcome this problem, we construct a modified algorithm AIXI-tl, which is still effectively more intelligent than any other time t and space l bounded agent. The computation time of AIXI-tl is of the order tx2^l. Other discussed topics are formal definitions of intelligence order relations, the horizon problem and relations of the AIXI theory to other AI approaches.

研究の動機と目的

• 特定の環境や応用に依存しない、形式的で普遍的な人工知能理論の構築。
• ソロモンフの普遍的インダクションと逐次的意思決定理論を統合し、不確実性下での合理的なエージェント行動を実現すること。
• あらゆる問題クラスにわたるエージェントの比較を可能にする、普遍的知能順序関係の定義。
• 時間と空間に制限を設けた近似（AIξtl）の構築。この近似は、他のいかなる時間・空間制限付きエージェントよりも知能が高く保たれる。
• 普遍的AIモデルが、逐次予測、ゲーム、最適化、教師あり学習など、複数のAI問題クラスに応用可能であることを示すこと。

提案手法

• アルゴリズム的確率に基づく普遍的事前分布を用いた、関数的および反復的形での意思決定理論の形式化により、エージェントベースのモデルを定式化する。
• 未知の環境事前分布を扱う問題に対する解決策として、普遍的半測度 ξ を用いた普遍的AIξモデルを導入する。
• 普遍的半測度 ξ を用いて、すべての計算可能環境にわたるベイズ推論を一般化し、真の環境分布への収束を保証する。
• 計算時間を t、計算領域を l に制限することで、時間・空間に制限を設けたAIξtlモデルを構築し、計算コストは t·2^l となる。
• 計算不能なAIξモデルを効果的に近似するために、「最良の投票」アルゴリズムと拡張された歴史的プログラムを用いる。
• すべての環境において性能を比較可能な有効な知能順序関係を定義し、信頼区間を用いて分離性を保証する。

実験結果

リサーチクエスチョン

• RQ1 環境や報酬関数に関する事前知識がなくても、普遍的AIを形式的に定義できるか？
• RQ2 ソロモンフの普遍的インダクションをどのように逐次的意思決定理論と統合し、合理的なエージェントを構築できるか？
• RQ3 あらゆる可能な環境において、普遍的かつ偏りのないエージェントの知能の理論的限界は何か？
• RQ4 計算不能な普遍的AIモデルを、理論的優位性を保ちつつ効果的に近似する方法は何か？
• RQ5 普遍的AIξモデルは、逐次予測、ゲーム戦略、関数最小化など、多様なAI問題クラスをどのように解決できるか？

主な発見

• AIξモデルは、すべての計算可能環境において期待効用を最大化するため、理論的に最も知能的で偏りのないエージェントであることが証明されている。
• AIξモデルは真の環境分布 μ に収束するため、あらゆる逐次予測タスクにおいて長期的に最適な性能を発揮する。
• 時間制限付き変種AIξtlは、時間 t と空間 l に制限された他のいかなるエージェントよりも知能が高く、計算時間は t·2^l である。
• 普遍的AIξモデルは、問題固有の設計を必要とせず、逐次予測、戦略的ゲーム、関数最小化、教師あり学習を形式的に解決する。
• 知能順序関係は、エージェントの比較を厳密に可能にするフレームワークを提供し、AIξは普遍的に他のすべてのエージェントを支配する。
• 論文は、ホライズン問題を主要な課題として特定し、解決策の可能性について議論するが、明確な解決策は提示しない。