[論文レビュー] PAC-Bayesian Policy Evaluation for Reinforcement Learning

Mahdi Milani Fard, Joëlle Pineau+1 more|arXiv (Cornell University)|Feb 14, 2012

Machine Learning and Algorithms参考文献 21被引用数 5

ひとこと要約

この論文は、関数近似を伴うバッチ強化学習における最初のPAC-Bayesian境界を導入し、有用な事前分布を活用しながら誤解を招く事前分布を無視する、頑健な方策評価を可能にする。この手法は、事前分布の正しさに依存しない一般化保証を提供し、信頼性の高い事前知識に基づいて動的に重みを付与することで、標準的なベイジアン強化学習を上回る性能を発揮する。

ABSTRACT

Bayesian priors offer a compact yet general means of incorporating domain knowledge into many learning tasks. The correctness of the Bayesian analysis and inference, however, largely depends on accuracy and correctness of these priors. PAC-Bayesian methods overcome this problem by providing bounds that hold regardless of the correctness of the prior distribution. This paper introduces the first PAC-Bayesian bound for the batch reinforcement learning problem with function approximation. We show how this bound can be used to perform model-selection in a transfer learning scenario. Our empirical results confirm that PAC-Bayesian policy evaluation is able to leverage prior distributions when they are informative and, unlike standard Bayesian RL approaches, ignore them when they are misleading.

研究の動機と目的

• 事前分布の正確性にかかわらず有効である一般化境界フレームワークを、バッチ強化学習に開発すること。
• PAC-Bayesian境界を用いてドメイン知識を活用することで、転移学習におけるモデル選択を可能にすること。
• 誤った事前分布に対して感受性が強いベイジアン強化学習の欠点を克服し、一般化保証を分布に依存しない形で導入すること。
• 理論的に裏付けられた手法を提供し、誤解を招く事前分布は自動的に軽視しながら、有用なものを活用すること。
• 関数近似とオフポリシーデータを伴う強化学習の文脈にPAC-Bayesian理論を拡張すること。

提案手法

• 任意の事前分布に対して成り立つ一般化理論に基づいて導出された、バッチ強化学習における方策評価のPAC-Bayesian境界を提案する。
• 方策の事後分布を用い、データ分布上で高確率で期待性能が境界化されることを保証する。
• 境界を方策評価目的に適用し、関数近似器によってパrameter化された方策の族から最良のものを選択可能にする。
• 事後分布のリスク最小化アプローチを採用し、境界が事前分布と事後分布のKLダイバージェンスに依存する。
• PAC-Bayesian境界を最小化するように事後分布を最適化する実用的アルゴリズムを導入し、転移学習におけるモデル選択を可能にする。
• 一般化誤差の代理として境界を用い、未観測データに一般化しやすい方策の選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesian理論を、関数近似を伴うバッチ強化学習における方策評価の一般化境界に拡張できるか？
• RQ2 誤った事前分布に対しても頑健であるように、事前知識を方策評価に効果的に統合する方法は何か？
• RQ3 提案された境界を、強化学習における転移学習シナリオのモデル選択を支援するのに利用できるか？
• RQ4 事前分布が誤っている場合、この手法は標準的なベイジアン強化学習を上回るか？
• RQ5 オフポリシー方策評価において、PAC-Bayesian境界は一般化誤差の信頼できる代理として機能するか？

主な発見

• 提案されたPAC-Bayesian境界は、事前分布の正しさにかかわらず有効な一般化保証を提供し、理論的な頑健性を保証する。
• 実験結果から、有用な事前分布が効果的に活用され、事前分布が正確な場合に転移学習で性能が向上することが示された。
• 事前分布が誤解を招く場合、この手法は自動的にそれらを軽視し、性能の低下を回避する。
• 境界は一般化誤差の信頼できる代理として機能し、実際のモデル選択において有効である。
• 誤ったまたはノイズの多い事前分布がある状況でも、標準的なベイジアン強化学習を上回る性能を示し、頑健性を実証した。
• 関数近似を伴うバッチ強化学習の文脈において、ベースライン手法よりも優れた一般化性能を達成した。