[論文レビュー] Robust Bayesian reinforcement learning through tight lower bounds

Christos Dimitrakakis|arXiv (Cornell University)|Jun 18, 2011

Reinforcement Learning in Robotics参考文献 26被引用数 4

ひとこと要約

本稿では、Belief分布を前提としたMDPの下で、メモリレス方策の近似的最適性を保証するタイトな下界を計算するための新しい手法を提案する。この手法は、後向き帰納法（MMBI）およびその確率的変種（MSBI）を用い、特にサンプルサイズが増加する際、標準的なベイジアンRL手法（MCBRL や $\varsigma$-最適方策）に比べて顕著に優れた性能を示す。これは、よりタイトな下界とより優れた探索戦略のおかげである。

ABSTRACT

In the Bayesian approach to sequential decision making, exact calculation of the (subjective) utility is intractable. This extends to most special cases of interest, such as reinforcement learning problems. While utility bounds are known to exist for this problem, so far none of them were particularly tight. In this paper, we show how to efficiently calculate a lower bound, which corresponds to the utility of a near-optimal memoryless policy for the decision problem, which is generally different from both the Bayes-optimal policy and the policy which is optimal for the expected MDP under the current belief. We then show how these can be applied to obtain robust exploration policies in a Bayesian reinforcement learning setting.

研究の動機と目的

• Belief分布を前提としたMDPの下で、ベイズ最適方策を計算することが困難である問題に対処すること。
• 近似的最適なメモリレス方策の価値関数に対するタイトな下界を提供する、計算的に効率的な手法を開発すること。
• これらの下界を活用して方策選択をガイドすることで、ベイジアンRLにおけるロバストな探索を可能にすること。
• 複数のMDPサンプルとタイトな方策評価を用いることで、既存のサンプリングベースのベイジアンRL手法を一般化すること。
• 提案手法がベンチマークタスクにおいて、期待MDPヒューリスティックとベースラインのベイジアンRLアルゴリズムを上回ることを実証すること。

提案手法

• Belief分布を前提としたMDPの下で、メモリレス方策の価値関数に対する下界を計算するための後向き帰納法であるMMBI（Memoryless Maximum Belief Induction）を導入する。
• MMBIの確率的変種として、MMBIに対するギャップが多項式的に有界な期待下界を提供するMSBI（Stochastic MMBI）を構築する。
• MCBRLアルゴリズムにおいて、MMBI/MSBI方策をロバストな探索戦略として活用し、Belief分布から定期的に複数のMDPをサンプリングする。
• 下界を用いて行動選択をガイドすることで、期待MDPに基づく方策に依存するのではなく、メモリレス方策の中での近似的最適性を保証する。
• 有限個のMDPに対して後向き帰納を適用することで、価値関数と方策推定を効率的に計算する。
• MDPの点推定ではなく、タイトな下界に基づいて方策を更新するベイジアンRLフレームワークに本手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 Belief分布を前提としたMDPの下で、メモリレス方策の価値関数に対するタイトな下界を計算できるか？
• RQ2 MMBI/MSBI方策の性能は、ベイズ最適方策および期待MDPの下での最適方策と比べてどうなるか？
• RQ3 提案手法は、既存のサンプリングベースのアプローチと比較して、探索および全体的な学習性能を向上させられるか？
• RQ4 MMBI方策と真のベイズ最適方策との間の計算的・統計的ギャップはどの程度か？
• RQ5 Belief分布におけるMDPサンプル数を増加させることで、よりタイトな下界とより優れた性能が得られるか？

主な発見

• MMBI方策は、期待MDPの下での最適方策（$\hat{\mu}_{\xi}$）よりも、特に不確実性の高い環境において、価値関数に対する著しくタイトな下界を提供する。
• チェーンタスクにおいて、提案手法（Alg. 4）は1000ステップで平均報酬3287を達成し、$n=1$のMCBRL（3166）および$n=8$のMCBRL（3358）を上回り、Beetle や AMP-EM といったより複雑なアルゴリズムに近い性能を示した。
• MDPサンプル数$n$を1から16に増加させたところ、報酬は3166から3376に向上し、より多くのサンプルによるタイトな下界の恩恵が明確に示された。
• エージェントが劣悪な状態に閉じ込められるランの数を1%未満にまで削減したため、本手法のロバスト性と信頼性が裏付けられた。
• 理論的に有界されたギャップを持つMMBI方策は、$\hat{\mu}_{\xi}$-最適方策よりもベイズ最適方策に近いことが示され、そのギャップはサンプル数に対して多項式的に依存する。
• MSBIアルゴリズムは、MMBIに近い期待下界を提供し、ギャップがサンプル数に対して多項式的に増大するため、スケーラブルで実用的であることが示された。