[論文レビュー] On the Computability of Solomonoff Induction and Knowledge-Seeking

Jan Leike, Marcus Hütter|arXiv (Cornell University)|Jul 15, 2015

Computability, Logic, AI Algorithms参考文献 16被引用数 5

ひとこと要約

この論文は強化学習におけるソロモンホフインダクションおよび知識探索型エージェントの計算可能性を分析し、正規化された汎用事前分布 $M_{\text{norm}}$ が極限計算可能であり、実用的な近似に適しているのに対し、非正規化された ${\overline{M}}$ 及びその正規化形 ${\overline{M}}_{\text{norm}}$ はそもそも極限計算可能でないことを示している。主な貢献は、ラットモアの BayesExp を基にした極限計算可能で、弱漸近的最適性を満たす強化学習エージェントの構築であり、理論的最適性を保ちつつ計算的に実行可能である。

ABSTRACT

Solomonoff induction is held as a gold standard for learning, but it is known to be incomputable. We quantify its incomputability by placing various flavors of Solomonoff's prior M in the arithmetical hierarchy. We also derive computability bounds for knowledge-seeking agents, and give a limit-computable weakly asymptotically optimal reinforcement learning agent.

研究の動機と目的

• ソロモンホフインダクションおよびその変種が算術階層内での計算可能性を特定すること。
• AIXI や知識探索型エージェントの事前分布および方策における非計算可能性が実用的非実行性を引き起こす理由を解明すること。
• 弱漸近的最適かつ極限計算可能な強化学習エージェントを構築し、実用的近似を可能にすること。
• 知識探索行動の文脈における非正規化および正規化された汎用事前分布の違いを明確にすること。

提案手法

• 論文は、算術階層を用いて、ソロモンホフの事前分布 $M$、その正規化形 $M_{\\text{norm}}$、非正規化形 ${\\overline{M}}$、正規化形 ${\\overline{M}}_{\\text{norm}}$ の計算可能性を分析している。
• $M$ および $M_{\\text{norm}}$ が極限計算可能（$\Delta^{0}_{2}$）であることを証明し、${\\overline{M}}$ が $\Pi^{0}_{2}$-完全かつ ${\\overline{M}}_{\\text{norm}}$ が $\Delta^{0}_{3}$-完全であることを示し、これらが極限計算可能でないことを示している。
• 知識探索型エージェントに関しては、$\varepsilon$-最適方策が極限計算可能であり、最適方策が $\Delta^{0}_{3}$-計算可能であることを確立している。
• 知識探索のコンponentを有する極限計算可能な方策と組み合わせることで、新しいエージェントを構築し、知識探索と報酬探索の行動をしきい値に基づくスイッチング機構で切り替えている。
• 動的しきい値 $\varepsilon_t = 2^{-t}$ を用いて、探索と活用のバランスを保ち、漸近的最適性を確保するとともに、極限計算可能性を維持している。
• 証明は、ラットモアの BayesExp フレームワークを適応し、非計算可能な最適方策を、最適値に収束する $\varepsilon$-最適近似に置き換えることに依存している。

実験結果

リサーチクエスチョン

• RQ1 ソロモンホフの汎用事前分布 $M$ 及びその正規化形 $M_{\text{norm}}$ は極限計算可能か？ また、算術階層における位置はどこか？
• RQ2 非正規化事前分布 ${\overline{M}}$ 及びその正規化形 ${\overline{M}}_{\text{norm}}$ は計算可能か？ もし非計算可能であれば、正確な複雑度クラスは何か？
• RQ3 エントロピーまたは情報利得を目的関数とする知識探索型エージェントは計算可能にできるか？ その最適方策の複雑度は何か？
• RQ4 弱漸近的最適かつ極限計算可能な強化学習エージェントを構築することは可能か？
• RQ5 BayesExp の非計算可能な最適方策は、漸近的最適性を失わず、$\varepsilon$-最適近似に置き換えられるか？

主な発見

• 正規化された汎用事前分布 $M_{\text{norm}}$ は極限計算可能（$\Delta^{0}_{2}$）であり、予測タスクにおける実用的近似に適している。
• 非正規化事前分布 ${\overline{M}}$ は $\Pi^{0}_{2}$-完全であり、評価に根本的な非実行性を示している。
• 正規化形 ${\overline{M}}_{\text{norm}}$ は $\Delta^{0}_{3}$-完全であり、極限計算可能性を超えているため、直接計算には非現実的である。
• 知識探索型エージェントに $\varepsilon$-最適方策を用いる場合、その方策は極限計算可能であり、最適方策は $\Delta^{0}_{3}$-計算可能である。
• 動的しきい値と $\varepsilon$-最適方策を組み合わせることで、極限計算可能かつ弱漸近的最適な新しい強化学習エージェントを構築した。
• 構築されたエージェントは、探索ステップの密度が消失し、方策の値が Cesàro 平均で最適値に収束することにより、弱漸近的最適性を達成している。