[論文レビュー] Towards a Universal Theory of Artificial Intelligence based on Algorithmic Probability and Sequential Decision Theory

Marcus Hütter|ArXiv.org|Dec 16, 2000

Computability, Logic, AI Algorithms参考文献 15被引用数 4

ひとこと要約

本稿は、アルゴリズム的確率（ソロモンoffの帰納法）と逐次的意思決定理論に基づき、計算可能な環境における最適な学習と意思決定を統合する、普遍的で人工知能モデルAIξを提案する。主な貢献は、パラメータがなく、証明可能に最適な形式的モデルであり、計算可能である近似モデルAIξ^tlは、時間的・空間的制限を受けるいかなるエージェントよりも優れているが、空間の上限に対して指数関数的時間計算量を要する。

ABSTRACT

Decision theory formally solves the problem of rational agents in uncertain worlds if the true environmental probability distribution is known. Solomonoff's theory of universal induction formally solves the problem of sequence prediction for unknown distribution. We unify both theories and give strong arguments that the resulting universal AIXI model behaves optimal in any computable environment. The major drawback of the AIXI model is that it is uncomputable. To overcome this problem, we construct a modified algorithm AIXI^tl, which is still superior to any other time t and space l bounded agent. The computation time of AIXI^tl is of the order t x 2^l.

研究の動機と目的

• 意思決定理論とアルゴリズム的確率を統合し、普遍的で人工知能のための単一のフレームワークを構築すること。
• あらゆる計算可能な環境において最適に動作する、前提のない最適なエージェントモデルAIξを形式化すること。
• AIξの非計算可能性に対処するため、制限付きエージェントよりも優位性が保証された実用的近似モデルAIξ^tlを構築すること。
• 一般AI問題を計算に関する問いに還元し、理論的分析と将来の実装を可能にすること。

提案手法

• エージェントと環境が行動・知覚のサイクルを通じて相互作用する状況を形式化し、エージェントと環境の両方をチューリングマシンとしてモデル化する。
• 既知の環境分布μの下で期待報酬を最大化する最適方策をもつAIμモデルを導入する。
• ソロモンoffのアルゴリズム的事前分布ξを用いてμを置き換え、普遍的AIξモデルを構築する。
• 行動と知覚のシーケンスにおける期待最大化（Expectimax）風の再帰的最適化を用いてAIξモデルを導出する。
• AIξ^tlを、時間tと空間lの両方の制限を受けるAIξの近似として構築し、計算時間はO(t·2^l)である。
• レヴィン探索に類似した列挙法を用い、長さlまでのすべてのプログラムを時間tのうちに評価し、最も性能の良い方策を選択する。

実験結果

リサーチクエスチョン

• RQ1 一貫したパrameter-freeモデルが、あらゆる計算可能な環境において最適な学習と意思決定を統合できるか？
• RQ2 最適かつ普遍的に適用可能な、形式的かつ数学的に厳密な普遍的知能の定義は存在するか？
• RQ3 非計算可能な普遍的AIモデルを、最適性の保証を失わず効果的に近似することは可能か？
• RQ4 強化学習および意思決定における普遍性を達成するための計算コストは何か？

主な発見

• AIξモデルは、環境に関する事前の仮定なしに、あらゆる計算可能な環境で形式的に最適であり、将来の期待報酬を最大化する。
• AIξ^tlは、時間tと空間lの両方に制限を受けるいかなるエージェントよりも優れており、計算時間はO(t·2^l)である。
• モデルは一般AI問題を計算に関する問いに還元し、課題を設計から計算可能性の問題にシフトさせる。
• 追加の知識は初期入力として組み込むことができ、モデルはそれをハードコードすることなく効率的に適応する。
• 統一されたフレームワークの下で、逐次予測、戦略的ゲーム、関数最小化、教師あり学習の問題に対して形式的な解決策を提供する。
• 非計算可能性にかかわらず、AIξモデルは普遍的知能の理論的基盤を提供し、AIξ^tlは実装に向けた実用的で最初のステップである。