[論文レビュー] Efficient Bayes-Adaptive Reinforcement Learning using Sample-Based Search

Arthur Guez, David Silver+1 more|arXiv (Cornell University)|May 14, 2012

Reinforcement Learning in Robotics参考文献 25被引用数 98

ひとこと要約

本稿では、根の部分で信念分布からMDPモデルを遅延的にサンプリングすることで、計画中に高価なベイズ更新を回避する、効率的なベイズ適応強化学習のためのサンプルベースのモンテカルロ木探索アルゴリズムBAMCPを提案する。この手法は、ベンチマークタスクで最先端の性能を達成し、構造的事前分布を有する無限状態領域へスケーリング可能であり、無限サンプリング下でベイズ最適方策への収束を示した。

ABSTRACT

Bayesian model-based reinforcement learning is a formally elegant approach to learning optimal behaviour under model uncertainty, trading off exploration and exploitation in an ideal way. Unfortunately, finding the resulting Bayes-optimal policies is notoriously taxing, since the search space becomes enormous. In this paper we introduce a tractable, sample-based method for approximate Bayes-optimal planning which exploits Monte-Carlo tree search. Our approach outperformed prior Bayesian model-based RL algorithms by a significant margin on several well-known benchmark problems -- because it avoids expensive applications of Bayes rule within the search tree by lazily sampling models from the current beliefs. We illustrate the advantages of our approach by showing it working in an infinite state space domain which is qualitatively out of reach of almost all previous work in Bayesian exploration.

研究の動機と目的

• モデル不確実性を伴う大規模または複雑なMDPにおける正確なベイズ強化学習の計算的に非実行可能な課題に対処すること。
• 繰り返し行われるベイズ更新を回避することで、探索中に実行可能な、スケーラブルなベイズ最適計画法を開発すること。
• MDPダイナミクスに豊富で構造的な事前知識が存在する領域における効果的な探索を可能にすること。
• 従来の手法が信念空間および状態空間の爆発により失敗するため、無限状態MDPへのベイズ強化学習の適用範囲を拡張すること。
• 計算コストを低減しつつベイズ最適性を維持する、証明可能に収束するサンプルベース計画法を達成すること。

提案手法

• BAMCPは、モデル不確実性下での計画のため、ベイズ適応MDP（BAMDP）上でモンテカルロ木探索（MCTS）を用いる。
• 各シミュレーションにおいて、エージェントの現在のダイナミクスに関する信念分布から1つのMDPをサンプリングし、ロールアウト中に繰り返し信念更新を回避する。
• アルゴリズムはルートサンプリングを採用しており、各シミュレーションの開始時にのみモデルをサンプリングすることで、ベイズ推論のコストを低減する。
• サンプリングされたMDPからの軌道をシミュレートするためのロールアウト方策として、モデルフリー強化学習アルゴリズム（例：Q学習）を用いる。
• 特に共役でない、または高次元の事前分布において重要な、完全なベイズ更新を避けることで効率的な事後信念のサンプリングを実現するための遅延的サンプリング方式を導入する。
• 探索木内の価値推定値は、サンプルMDPからのシミュレートされたリターンに基づき更新され、多数のサンプルを統合してベイズ最適価値関数を近似する。

実験結果

リサーチクエスチョン

• RQ1 サンプルベースのMCTSアプローチは、計算コストを著しく削減しつつ、ベイズ強化学習におけるベイズ最適計画を達成できるか？
• RQ2 信念分布からMDPモデルを遅延的にサンプリングすることで、探索中に完全なベイズ更新を実行する場合と比較して、スケーラビリティがどのように向上するか？
• RQ3 BAMCPは、従来のベイズ強化学習手法が失敗する無限状態空間と構造的事前分布を有する領域を効果的に処理できるか？
• RQ4 信念分布にエンコードされた事前知識は、学習性能およびサンプル効率にどの程度の影響を及ぼすか？
• RQ5 十分なサンプリング下で、提案手法はベイズ最適方策に収束するか？また、既存のアルゴリズムと実験的に比較してどうなるか？

主な発見

• BAMCPは、未割引および割引累積報酬の両方において、4×3グリッドおよび8×8グリッドタスクを含む標準ベンチマーク問題において、先行するベイズ強化学習アルゴリズムを顕著に上回った。
• アルゴリズムは、ベイズ的および非ベイズ的ベースライン、特にUCTベースの手法やモデルフリー強化学習を上回る最先端の性能を達成した。
• 相関のある行と列のダイナミクスを有する無限2Dグリッドタスクにおいて、信念空間が非実行的であるにもかかわらず、BAMCPは計画と学習に成功した。
• 計画時間の増加に伴い性能が向上し、事前知識の質が学習速度および最終的性能に明確な影響を及ぼした。これは、事前知識の効果的利用を示している。
• 遅延的サンプリング方式により、例えば無限グリッドにおけるベータ分布を仮定した行・列パラメータから生じるような、複雑で非共役の事後分布からの効率的サンプリングが可能になった。
• 無限サンプリング下でベイズ最適方策への収束が理論的に証明され、この手法の極限における最適性が裏付けられた。