[論文レビュー] Universal Sequential Decisions in Unknown Environments

Marcus Hütter|ArXiv.org|Jun 16, 2003

Computability, Logic, AI Algorithms参考文献 2被引用数 6

ひとこと要約

本稿では、未知の環境モデルμをソロモンoff誘導から導かれた普遍的事前分布ξに置き換えることで、未知の環境における逐次的意思決定のための普遍的かつ最適なエージェントAIξを提案する。AIξシステムは、すべての計算可能環境におけるベイズ推論を用い、調整パラメータが一切ないため、期待損失における漸近的最適性を達成し、探索・活用のトレードオフや一般化といった強化学習の核心的課題を効果的に解決する。

ABSTRACT

We give a brief introduction to the AIXI model, which unifies and overcomes the limitations of sequential decision theory and universal Solomonoff induction. While the former theory is suited for active agents in known environments, the latter is suited for passive prediction of unknown environments.

研究の動機と目的

• 未知の環境に存在するエージェントのための逐次的意思決定理論と普遍的誘導を統合した単一の枠組みを構築すること。
• 一般化が不十分で、探索・活用のトレードオフが最適でない、分野特異的な仮定に依存する既存の強化学習手法の限界を克服すること。
• 調整パラメータがなく、最小限の仮定でいかなる計算可能環境でも最適に動作するモデルフリーの普遍的最適エージェントを開発すること。
• 真の環境μが未知であっても、AIξモデルが真の環境μの最適方策に漸近的に収束することを示すこと。

提案手法

• AIξモデルは、未知の環境分布μの代わりに、可算集合Mに属するすべての計算可能で時系列的な半測度の重み付き和として定義される普遍的事前分布ξを用いる。
• 重みwμiは、μiのコルモゴロフ複雑度K(μi)に比例して2−K(μi)と設定され、単純さのバイアスと普遍的優位性を保証する。
• エージェントは、ξを信念分布として用い、将来の結果における期待総損失の最小化により行動ytを選択する：yt := argmin_yt ∑xt ... min_yn ∑xn (lt + ... + ln) ξ(x1:n|y1:n)。
• 損失関数を入力系列に含めるために入力空間を拡張し、未知の損失関数をμに統合することで、それらをξに内蔵して暗黙的に学習可能にする。
• 将来の行動と結果に対する再帰的最小化を用い、行動は観測履歴x<t y1:tにのみ依存する。
• AIξモデルは調整パrameterを一切含まず、普遍的事前分布ξと意思決定問題の構造にのみ依存して形式的に定義される。

実験結果

リサーチクエスチョン

• RQ1 事前知識なしに環境のダイナミクスや損失関数を把握しない単一のパrameterフリーのエージェントモデルが、すべての計算可能環境で最適なパフォーマンスを達成できるか。
• RQ2 普遍的事前分布ξが真の環境μに収束する際、逐次的意思決定における意思決定パフォーマンスにどのような影響を与えるか。
• RQ3 AIξモデルが、探索や活用の戦略が最適でないという強化学習の根本的限界をどの程度克服できるか。
• RQ4 計算可能環境のクラスにおいて、AIξモデルが他のいかなるエージェントよりも学習速度や意思決定の正確性において普遍的に最適であると言えるか。
• RQ5 意思決定理論に普遍的誘導を統合することで、部分的に観測可能または非マルコフ的環境においても、どのように頑健な一般化が可能になるか。

主な発見

• AIξモデルは期待損失において漸近的最適性を達成し、n → ∞ のとき L_nΛξ / L_nΛμ → 1 となる。これは真の環境μにおける最適方策への収束を示している。
• ξからμへの収束速度は速く、L_nΛξ / L_nΛμ = 1 + O(√(K(μ)/L_nΛμ)) と表され、nが大きい場合に強い性能保証が得られる。
• 真の環境μが計算可能で集合Mに含まれる場合、AIξモデルはμの知識がなくても最適方策に収束することが保証される。
• 普遍的事前分布によるすべての計算可能環境への探索のバランスが、探索・活用のジレンマを暗黙的に克服する。
• 環境が計算可能であると仮定すれば、AIξモデルは他のいかなるエージェントよりも著しく速く学習やタスク解決ができないため、普遍的最適性を有する。
• 損失関数が未知であっても、モデルは入力空間に統合され、ξを介して暗黙的に学習可能であるため、頑健性を保つ。