[論文レビュー] Bayesian Reinforcement Learning: A Survey

Mohammad Ghavamzadeh, Shie Mannor+2 more|CERN Document Server (European Organization for Nuclear Research)|Sep 14, 2016

Advanced Bandit Algorithms Research参考文献 145被引用数 10

ひとこと要約

本調査は、ベイジアン推論を活用して価値関数、方策、環境ダイナミクスの不確実性を扱うことで、モデルベースとモデルフリーの両アプローチを統合するベイジアン強化学習（BRL）の包括的概要を提供する。BRLは事後分布を通じて探索と活用のトレードオフを自然に扱い、BEB や BOSS といったアルゴリズムにより理論的保証を提供し、MDP において誤差が有界な状態でサンプル効率の学習を達成する。

ABSTRACT

Bayesian methods for machine learning have been widely investigated, yielding principled methods for incorporating prior information into inference algorithms. In this survey, we provide an in-depth review of the role of Bayesian methods for the reinforcement learning (RL) paradigm. The major incentives for incorporating Bayesian reasoning in RL are: 1) it provides an elegant approach to action-selection (exploration/exploitation) as a function of the uncertainty in learning; and 2) it provides a machinery to incorporate prior knowledge into the algorithms. We first discuss models and methods for Bayesian inference in the simple single-step Bandit model. We then review the extensive recent literature on Bayesian methods for model-based RL, where prior information can be expressed on the parameters of the Markov model. We also present Bayesian methods for model-free RL, where priors are expressed over the value function or policy class. The objective of the paper is to provide a comprehensive survey on Bayesian RL algorithms and their theoretical and empirical properties.

研究の動機と目的

• モデルベースとモデルフリーの両パラダイムを統合し、強化学習におけるベイジアン手法をレビューすること。
• ベイジアン推論が価値関数、方策、環境ダイナミクスの不確実性を原理的かつ適切に取り扱える仕組みを説明すること。
• 事後分布を通じて、探索と活用のトレードオフがどのように自然に解消されるかを分析すること。
• BEB や BOSS、トムソンサンプリングといったアルゴリズムの理論的基盤と実験的知見を提供すること。
• 逐次的意思決定における過学習に対する正則化と耐性を高めるために、事前分布が果たす役割を強調すること。

提案手法

• 環境ダイナミクス、価値関数、方策の不確実性を、事前分布を用いて表現する。
• エージェントと環境の相互作用から得られる新しいデータに応じて、ベイズの定理を用いて事後分布を更新する。
• 行動選択にトムソンサンプリングやベイズUCBを適用し、行動を事後分布の不確実性に基づいてサンプリングまたは選択する。
• BEB や VBRB における探索ボーナスを、事後分散やモデルの不確実性に比例するように設計し、探索を誘導する。
• モデルベースBRLでは、BOSS やベイジアン動的プログラミングにおいて、事後分布を用いた動的プログラミングにより価値関数を計算する。
• 計算コストを削減しながら性能を維持するために、後方分布からのサンプリング（例：SmartSampler）などの近似推論技術を用いる。

実験結果

リサーチクエスチョン

• RQ1 モデルベースとモデルフリーの両方の強化学習に、どのようにしてベイジアン手法を体系的かつ一貫して適用できるか。特に、サンプル効率の向上に寄与する仕組みは何か。
• RQ2 収束性と有界誤差という観点から、ベイジアンRLアルゴリズムに理論的保証は存在するか。
• RQ3 事後分布の使用が、探索と活用のトレードオフをどのように原理的かつ適切に扱えるか。
• RQ4 ベイジアン事前分布が、価値関数と方策学習における正則化と耐性にどのように寄与するか。
• RQ5 BEB や BOSS は、計算可能性を維持しながらも、PAC-BAMDP の保証をどのように達成しているか。

主な発見

• BEB アルゴリズムは、計画のためのホライズン H と誤差 ϵ に対して、O(|S||A|H^6 / ϵ^2 log(|S||A|/δ)) のサンプル複雑性を達成し、PAC-BAMDP の保証を満たす。
• チェーン問題において、BEB は非ベイジアンな PAC-MDP アルゴリズムよりもサンプル効率に優れ、最適方策に収束する。
• BOSS 及びその拡張である SmartSampler は、6×6 メイズのような小さなMDPにおいて、事後分散に基づくモデルの適応的サンプリングにより、競争力のある性能を達成する。
• 理論的分析により、頻度主義のPAC-MDP設定とは異なり、ベイジアン最適性のもとでは、1/n（1/√n より速い）に減衰する探索ボーナスが可能であることが示された。
• 強固な理論的保証があるにもかかわらず、BEB は、探索ボーナスが有界であるため、特定のMDPでは真の最適方策への収束に失敗することが、定理4.6.4で示された。
• トムソンサンプリングやベイズUCBは、バンディット設定において有効であることが示され、実験的に従来の手法を上回るか同等の性能を発揮した。