[論文レビュー] Optimal Sequential Decisions based on Algorithmic Probability

Marcus Hütter|arXiv (Cornell University)|Jun 16, 2003

Distributed Sensor Networks and Detection Algorithms被引用数 2

ひとこと要約

この論文は、逐次的意思決定理論とユニバーサル・ソロモンフ・インダクションを統合することで、未知の環境における最適な意思決定を可能にする統合的フレームワーク、AIXIモデルを紹介する。アルゴリズム的確率と能動的学習を組み合わせることで、すべての計算可能なモデルに対するベイズ推論を通じて、任意の環境で最適な行動を達成する。

ABSTRACT

We give a brief introduction to the AIXI model, which unifies and overcomes the limitations of sequential decision theory and universal Solomonoff induction. While the former theory is suited for active agents in known environments, the latter is suited for passive prediction of unknown environments.

研究の動機と目的

• 逐次的意思決定理論とユニバーサル・インダクションを、単一の最適なフレームワークに統合すること。
• 既存の理論が既知の環境に限定されているか、受動的予測に限定されているという限界を克服すること。
• 任意の未知の環境における最適な強化学習の形式的モデルを提供すること。
• アルゴリズム的確率を能動的意思決定に統合し、ユニバーサル知能を実現すること。

提案手法

• ソロモンフ・インダクションと逐次的意思決定理論を統合したユニバーサル・エージェントとしてのAIXIを提唱する。
• すべての計算可能な環境に対する事前確率を、アルゴリズム的確率（コルモゴロフ・コンプレックスィティ）を用いて割り当てる。
• 観測結果と行動に基づいて、環境に関する信念をベイズ更新によって精緻化する。
• すべての計算可能なモデルについて、将来の報酬の期待値を最大化することで行動を最適化する。
• ユニバーサル事前分布を用いて、探索と活用のバランスを取る再帰的意思決定プロセスを採用する。
• 無限の計算資源を前提とした極限において、AIXIが強化学習問題の最適解であると定義する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、単一の最適なフレームワークにおいて、逐次的意思決定とユニバーサル・インダクションを統合できるか？
• RQ2 アルゴリズム的確率は、未知の環境における最適な行動を可能にするために果たす役割は何か？
• RQ3 1つのエージェント・モデルが能動的学習とユニバーサル予測を統合できるか？
• RQ4 AIXIは、従来の意思決定理論とインダクションの限界をどのように克服するか？
• RQ5 ユニバーサルに最適な強化学習エージェントの理論的性質は何か？

主な発見

• AIXIは、任意の未知の環境における最適な逐次的意思決定の問題に対して、形式的かつ数学的に厳密な解決策を提供する。
• アルゴリズム的確率に基づく単一の原理を通じて、能動的意思決定と受動的予測が統合される。
• AIXIは、期待報酬の観点で、任意の他の計算可能ポリシーを漸近的に上回るという意味で最適である。
• モデル空間に行動列を組み込むことで、ユニバーサル・インダクションが能動的エージェントに拡張可能であることが示された。
• AIXIは、実用的には計算不能であるが、人工汎用知能の理論的ベンチマークを確立する。
• 未知の環境における最適な行動は、アルゴリズム的複雑性とベイズ推論の原則から導出可能であることが示された。