[論文レビュー] Learning is planning: near Bayes-optimal reinforcement learning via Monte-Carlo tree search

John Asmuth, Michael L. Littman|arXiv (Cornell University)|Feb 14, 2012

Reinforcement Learning in Robotics参考文献 27被引用数 34

ひとこと要約

この論文は、モンテカルロ木探索（MCTS）を活用して、大規模または無限のマーカフ・決定過程（MDP）におけるニア・ベイズ最適強化学習を実現する手法を提案している。具体的には、前方探索スパースサンプリング（FSSS）を用いる。本手法では、ベイズ的信念更新を信念空間MDPとして扱い、FSSSを用いてこの空間で効率的に計画することで、全ステップのうち多項式個のステップを除き、エージェントがニア・ベイズ最適に行動できることを示している。

ABSTRACT

Bayes-optimal behavior, while well-defined, is often difficult to achieve. Recent advances in the use of Monte-Carlo tree search (MCTS) have shown that it is possible to act near-optimally in Markov Decision Processes (MDPs) with very large or infinite state spaces. Bayes-optimal behavior in an unknown MDP is equivalent to optimal behavior in the known belief-space MDP, although the size of this belief-space MDP grows exponentially with the amount of history retained, and is potentially infinite. We show how an agent can use one particular MCTS algorithm, Forward Search Sparse Sampling (FSSS), in an efficient way to act nearly Bayes-optimally for all but a polynomial number of steps, assuming that FSSS can be used to act efficiently in any possible underlying MDP.

研究の動機と目的

• 大規模または無限の状態空間を有する未知のMDPにおいて、ベイズ最適行動を達成する課題に対処すること。
• 履歴依存の信念状態に起因する信念空間MDPの指数的増大を克服すること。
• 不確実な環境における近似的最適意思決定のための実用的で効率的な手法を開発すること。
• FSSSが信念空間MDPにおいて効果的に計画可能であり、ニア・ベイズ最適方策を可能にすることを示すこと。
• 性能損失の理論的境界を確立し、最適性から逸脱するのは多項式個のステップに限られることを示すこと。

提案手法

• 未知のMDPにおけるベイズ最適行動を、履歴の確率分布である状態を有する信念空間MDPにおける最適制御問題として定式化する。
• FSSS（MCTSの一種）を用いて、信念空間MDPを全状態空間を明示的に構築することなく、効率的に探索する。
• FSSSを用いて現在の信念から将来の軌道をシミュレートし、ロールアウトを用いて行動価値を推定し、探索を誘導する。
• 観測ごとにベイズ更新を用いて信念状態を維持・更新し、時間経過に伴う不確実性の推論を保証する。
• スパースサンプリングを用いて、サンプルされる行動および遷移の数を制限し、計算コストを削減しながら理論的性能保証を維持する。
• FSSSが任意の下位のMDPにおいて効率的に適用可能であるという仮定の下で、アルゴリズムが効率的であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロ木探索は、大規模または無限のMDPにおいてニア・ベイズ最適行動を達成するために用いられるか？
• RQ2 信念空間MDPにおけるFSSSの性能は、正確なベイズ最適方策と比べてどの程度か？
• RQ3 計画中に信念状態を維持・更新する計算コストはどの程度で、それを管理可能に保てるか？
• RQ4 エージェントの方策がベイズ最適性からどの程度逸脱し、何ステップにわたって影響を受けるか？
• RQ5 FSSSは任意のMDPに効率的に適用可能か？その成立に必要な仮定は何か？

主な発見

• 提案手法により、信念更新を信念空間MDPにおける計画問題として扱うことで、未知のMDPにおいてニア・ベイズ最適行動が可能になる。
• エージェントの方策は、ホライズンおよび行動数の多項式関数に従って増加するステップ数を除き、最適である。
• FSSSにより、信念状態空間全体を明示的に構築することなく、信念空間MDPにおける効率的計画が可能になる。
• FSSSが任意の下位MDPにおいて効率的に適用可能であるという仮定の下で、理論的性能保証が維持される。
• 信念状態の明示的列挙を避けることで、大規模または無限の状態空間へのスケーラビリティが達成される。
• 実験結果から、本手法は、不確実性が顕著な複雑な環境においても、実用的に高い性能を達成することが示唆されている。