[論文レビュー] A Greedy Approximation of Bayesian Reinforcement Learning with Probably Optimistic Transition Model

Kenji Kawaguchi, Mauricio Araya|arXiv (Cornell University)|Mar 13, 2013

Reinforcement Learning in Robotics参考文献 17被引用数 7

ひとこと要約

本稿では、パrameter設定にわたる頑健な性能を達成するために「おそらく楽観的（probably optimistic）」な遷移モデルを用いる、ベイジアン強化学習の貪欲な近似手法を提案する。この手法は多項式的サンプル複雑性を達成し、事前分布が比較的正確な場合、既存のアルゴリズムを上回る性能を発揮するが、その貪欲な性質のため、事前分布の大幅な誤設定下では効果が薄れる。

ABSTRACT

Bayesian Reinforcement Learning (RL) is capable of not only incorporating domain knowledge, but also solving the exploration-exploitation dilemma in a natural way. As Bayesian RL is intractable except for special cases, previous work has proposed several approximation methods. However, these methods are usually too sensitive to parameter values, and finding an acceptable parameter setting is practically impossible in many applications. In this paper, we propose a new algorithm that greedily approximates Bayesian RL to achieve robustness in parameter space. We show that for a desired learning behavior, our proposed algorithm has a polynomial sample complexity that is lower than those of existing algorithms. We also demonstrate that the proposed algorithm naturally outperforms other existing algorithms when the prior distributions are not significantly misleading. On the other hand, the proposed algorithm cannot handle greatly misspecified priors as well as the other algorithms can. This is a natural consequence of the fact that the proposed algorithm is greedier than the other algorithms. Accordingly, we discuss a way to select an appropriate algorithm for different tasks based on the algorithms' greediness. We also introduce a new way of simplifying Bayesian planning, based on which future work would be able to derive new algorithms.

研究の動機と目的

• 既存のベイジアンRL近似手法がハイパーパrameter設定に敏感である問題に対処すること。
• パrameter空間における頑健性を維持する貪欲なベイジアンRL近似を開発すること。
• 従来の手法よりも低いサンプル複雑性を達成するとともに、正確な事前分布下でも優れた性能を維持すること。
• ベイジアンRL近似における貪欲さと頑健性のトレードオフを分析すること。
• 将来的なアルゴリズム開発を可能にする簡素化されたフレームワークを導入すること。

提案手法

• 不確実性下での最も可能性の高い遷移ダイナミクスを選択することで、「おそらく楽観的」な遷移モデルを構築する。
• 楽観的モデルに基づく期待報酬が高くなるアクションを優先する貪欲な方策選択戦略を用いる。
• 遷移確率の信頼区間を用いて探索ステップ数を制限することで、多項式的サンプル複雑性を保証する。
• ベイジアン更新を通じて事前知識を統合するが、事前分布の誤設定に対する感度を低減するために貪欲なヒューリスティックを適用する。
• 計算負荷を低減するため、最も妥当と思われる遷移に焦点を当てることでベイジアン計画を簡素化する。
• 微調整されたハイパーパrameterに依存しないように設計することで、パrameter選択に対する頑健性を高めている。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパrameterのチューニングに敏感でない、ベイジアンRLの近似手法はどのように構築できるか？
• RQ2 おそらく楽観的遷移モデルを用いた貪欲なベイジアンRL近似のサンプル複雑性は何か？
• RQ3 正確な事前分布下で、提案手法は既存手法と比較してどのように性能を発揮するか？
• RQ4 貪欲さが、極端に誤った事前分布を扱う際のアルゴリズムの能力にどの程度制限を及えるか？
• RQ5 将来的なアルゴリズム改善を可能にする簡素化されたベイジアン計画フレームワークを導出できるか？

主な発見

• 提案手法は、既存のベイジアンRL近似手法よりも低い多項式的サンプル複雑性を達成した。
• 事前分布が著しく誤っていない場合、他の既存手法を上回る性能を発揮した。
• 予想通り、事前分布が著しく誤っている場合、その貪欲な性質のため性能が低下した。
• パrameter設定に対して頑健であるため、実世界の応用においてより実用的であることが示された。
• 貪欲な近似により、有利な事前分布条件の下でも効率的な計算と優れた学習性能を両立できた。
• 本稿では、将来的なアルゴリズム開発の基盤となる新たなベイジアン計画の簡素化を導入した。