[論文レビュー] Model-Based Bayesian Reinforcement Learning in Large Structured Domains

Stéphane Ross, Joëlle Pineau|PubMed|Jun 13, 2012

Reinforcement Learning in Robotics参考文献 13被引用数 51

ひとこと要約

本論文は、要因分解された状態表現とオンライン計画を組み合わせることで、大規模な構造的ドメインにおけるスケーラブルなモデルベースのベイジアン強化学習フレームワークを提案する。これにより、モデルパラメータの効率的な事後分布推論と近似的最適な行動シーケンスの推定が可能となり、複雑な環境における従来のベイジアンRLに比べて大幅なスケーラビリティの向上が達成される。

ABSTRACT

Model-based Bayesian reinforcement learning has generated significant interest in the AI community as it provides an elegant solution to the optimal exploration-exploitation tradeoff in classical reinforcement learning. Unfortunately, the applicability of this type of approach has been limited to small domains due to the high complexity of reasoning about the joint posterior over model parameters. In this paper, we consider the use of factored representations combined with online planning techniques, to improve scalability of these methods. The main contribution of this paper is a Bayesian framework for learning the structure and parameters of a dynamical system, while also simultaneously planning a (near-)optimal sequence of actions.

研究の動機と目的

• 大規模で構造的なドメインにおけるモデルベースのベイジアン強化学習のスケーラビリティ制限を解消すること。
• 大規模な状態空間におけるモデルパラメータの同時事後分布推定の高い計算コストを克服すること。
• 複雑な環境における原理的ベイジアン推論を通じて、効果的な探索と活用のトレードオフを実現すること。
• 構造学習をオンライン計画と統合し、不確実性下での近的最適意思決定を支援すること。
• 条件付き独立性と要因分解表現を活用することで、大規模ドメインにスケーラブルなフレームワークを構築すること。

提案手法

• 状態空間の要因分解表現を用いて、条件付き依存関係をモデル化し、パrameter空間の複雑さを低減する。
• ベイジアン推論を適用して、ダイナミクスの不確実性を捉えるモデルパラメータの事後分布を維持する。
• モンテカルロ木探索（MCTS）や類似手法を用いたオンライン計画技術を活用して、近的最適な行動シーケンスを計算する。
• モデル学習と計画を統合されたフレームワークとして統合し、事後分布の不確実性に基づいた適応的探索を可能にする。
• 要因分解モデルにおける条件付き独立性を活用して、効率的な推論を実現し、計算負荷を低減する。
• 変分推論やサンプリングベースの手法などの近似推論手法を用いて、高次元パrameter空間における事後更新のスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 効率的な推論と計画を用いることで、ベイジアン強化学習を大規模な構造的ドメインにスケーリングできるか？
• RQ2 要因分解表現は、モデルベースRLにおける事後分布推定の計算複雑性をどの程度低減できるか？
• RQ3 ベイジアンモデル学習と組み合わせたオンライン計画は、意思決定の質をどの程度向上させるか？
• RQ4 高次元状態空間にスケーリングする際、このフレームワークは効果的な探索を維持できるか？
• RQ5 このベイジアンフレームワークにおいて、計画の精度と計算効率のトレードオフはどのようなものか？

主な発見

• 提案されたフレームワークは、大規模な構造的ドメインにおける標準的ベイジアンRLに比べ、顕著なスケーラビリティの向上を達成した。
• 要因分解表現により、事後分布推定の計算負担が低減され、高次元状態空間を有するドメインへの適用が可能になった。
• ベイジアン不確実性を伴うオンライン計画は、より効果的な探索を実現し、最適方策への収束を迅速化した。
• 原理的不確実性認識行動選択のおかげで、サンプル効率が向上した。
• ベンチマークドメインにおける実験結果から、本手法は累積報酬と学習速度の面で非ベイジアンベースラインを上回った。
• 構造学習とオンライン計画の統合により、限られたデータと高いモデル不確実性下でも、頑健な性能を発揮した。