[論文レビュー] Monte Carlo Bayesian Reinforcement Learning

Yi Wang, Kok Sung Won+2 more|arXiv (Cornell University)|Jun 27, 2012

Reinforcement Learning in Robotics参考文献 23被引用数 26

ひとこと要約

本稿では、離散的なモデルパラメータの仮説をサンプリングし、状態空間とパラメータ空間の上に離散的POMDPを構築することで、ベイジアン強化学習を近似するモンテカルロ・ベイジアン強化学習（MC-BRL）を提案する。従来の手法とは異なり、共役事前分布の仮定を避け、ポイントベースのアルゴリズムによる効率的な解法を可能とし、完全観測および部分観測環境の両方で理論的保証付きの優れた性能を達成する。

ABSTRACT

Bayesian reinforcement learning (BRL) encodes prior knowledge of the world in a model and represents uncertainty in model parameters by maintaining a probability distribution over them. This paper presents Monte Carlo BRL (MC-BRL), a simple and general approach to BRL. MC-BRL samples a priori a finite set of hypotheses for the model parameter values and forms a discrete partially observable Markov decision process (POMDP) whose state space is a cross product of the state space for the reinforcement learning task and the sampled model parameter space. The POMDP does not require conjugate distributions for belief representation, as earlier works do, and can be solved relatively easily with pointbased approximation algorithms. MC-BRL naturally handles both fully and partially observable worlds. Theoretical and experimental results show that the discrete POMDP approximates the underlying BRL task well with guaranteed performance. 1.

研究の動機と目的

• 共役事前分布を必要としない一般的で実用的なベイジアン強化学習の手法の開発を目的とする。
• サンプリングされたモデルパラメータを用いた離散的POMDPへの問題の変換により、ベイジアン強化学習における効率的推論を可能とすることを目的とする。
• 統一されたフレームワーク内で完全観測および部分観測環境の両方をサポートすることを目的とする。
• 得られたPOMDPが真のBRL問題への近似としての品質に理論的保証を与えること。
• ポイントベースのPOMDPソルバが、分布に関する制限のない仮定のもとで、ベイジアン強化学習タスクに効果的に適用可能であることを示すこと。

提案手法

• MC-BRLは、モデルパラメータの事前分布から有限個の仮説をサンプリングする。
• 状態空間は、元のMDPの状態空間とサンプリングされたパラメータ空間のカルテシアン積として構築されるPOMDPを構築する。
• ベイズの定理を用いて、結合状態-パラメータ空間上の信念を更新するが、共役指数型分布の仮定は不要である。
• 得られたPOMDPは、価値反復や信念点におけるポリシー探索などのポイントベース近似推論アルゴリズムで解く。
• POMDPから得られるポリシーは、元のBRL問題におけるベイジアン最適ポリシーの近似である。
• パラメータの不確実性を観測されない状態成分として扱うことで、完全観測および部分観測環境の両方を自然に処理できる。

実験結果

リサーチクエスチョン

• RQ1 サンプリングされたモデルパラメータを用いた離散的POMDPの定式化は、真のベイジアン強化学習問題を効果的に近似できるか？
• RQ2 MC-BRLは共役事前分布に依存せずに競争力ある性能を達成できるか？
• RQ3 POMDP近似は、ベイジアン最適ポリシーの理論的保証をどれほど保持しているか？
• RQ4 ポイントベースのPOMDPソルバは、この定式化のもとでベイジアン強化学習タスクに効果的に適用可能か？
• RQ5 MC-BRLは完全観測および部分観測環境の両方でどれほど優れた性能を発揮するか？

主な発見

• 離散的POMDPの定式化は、理論的性能保証付きで、元のベイジアン強化学習問題に対する強力な近似を提供する。
• MC-BRLは、共役事前分布を必要とせず、完全観測および部分観測環境の両方で競争力ある性能を達成する。
• この手法により、計算的に効率的でスケーラブルな標準のポイントベースPOMDPソルバの利用が可能になる。
• このアプローチは一般性に富み、特定のパラメトリック族に依存しないため、広範なモデル構造に適用可能である。
• 実験結果から、サンプリングされた仮説集合が、複数のベンチマークタスクにおいて安定的かつ効果的なポリシー学習をもたらすことが示された。
• この手法は、学習の全過程にわたりモデルパラメータの不確実性を維持するため、エピステミック的不確実性下でのロバストな意思決定が可能になる。