[論文レビュー] A Bayesian Sampling Approach to Exploration in Reinforcement Learning

John Asmuth, Lihong Li+3 more|arXiv (Cornell University)|May 9, 2012

Reinforcement Learning in Robotics参考文献 17被引用数 153

ひとこと要約

本論文は、事後分布からのサンプルモデル集合において最高の性能を示す行動を選択するベイジアンサンプリング手法BOSSを提案する。動的リサンプリングとモデルの組み合わせにより、BOSSは低いサンプル複雑性で近似的に最適な報酬を達成し、最先端の手法を上回るが、非パラメトリックモデルに対しても柔軟性を保つ。

ABSTRACT

We present a modular approach to reinforcement learning that uses a Bayesian representation of the uncertainty over models. The approach, BOSS (Best of Sampled Set), drives exploration by sampling multiple models from the posterior and selecting actions optimistically. It extends previous work by providing a rule for deciding when to resample and how to combine the models. We show that our algorithm achieves nearoptimal reward with high probability with a sample complexity that is low relative to the speed at which the posterior distribution converges during learning. We demonstrate that BOSS performs quite favorably compared to state-of-the-art reinforcement-learning approaches and illustrate its flexibility by pairing it with a non-parametric model that generalizes across states.

研究の動機と目的

• 強化学習における探索と活用のトレードオフを、整合的なベイジアンアプローチで解決すること。
• モデルのサンプリングを通じて効率的かつ適応的な探索を可能にするモジュラーなフレームワークを開発すること。
• 学習における高い確率的近似的最適性を維持しつつ、サンプル複雑性を低減すること。
• 状態間での一般化を向上させるために、非パラメトリックモデルとの互換性を確保すること。
• 学習効率を向上させるために、動的リサンプリングとモデル結合のルールを提供すること。

提案手法

• 環境ダイナミクスの事後分布から複数のモデルをサンプリングする。
• サンプル集合内のモデルの中で予測される期待報酬が最大となるモデルに基づいて行動を選択する（楽観的選択）。
• 不確実性と学習の進行状況に基づき、何時リサンプリングするかを決定するルールを導入する。
• 重み付き集約戦略を用いてサンプルモデルを組み合わせ、行動選択のロバスト性と分散の低減を図る。
• さまざまな関数近似手法（非パラメトリックモデルを含む）との統合を可能にするモジュラー構造として設計されている。
• アルゴリズムは、事後分布の収束速度に比べて低いサンプル複雑性で、高い確率的収束を近似的に最適な方策に保証する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンサンプリングは、強化学習における探索と活用のバランスをどのように効果的にとらえることができるか？
• RQ2 事後サンプリングフレームワークにおいて、モデルをリサンプリングすべき基準は何か？
• RQ3 BOSSアルゴリズムの性能は、サンプル効率性とレグレットの観点で、最先端の探索戦略と比べてどうか？
• RQ4 非パラメトリックモデルと効果的に組み合わせることで、状態間での一般化が可能になるか？
• RQ5 アルゴリズムの理論的サンプル複雑性は、事後分布の収束速度に対してどのように関係するか？

主な発見

• BOSSは、限られたデータと不確実性の下でも、高い確率で近似的に最適な報酬を達成する。
• アルゴリズムは低いサンプル複雑性を示し、事後分布の収束速度に比例して良好にスケーリングする。
• 実験的評価において、BOSSは最先端の強化学習手法を上回る性能を示す。
• 非パラメトリックモデルと組み合わせても効果的であり、状態間での一般化が可能である。
• 動的リサンプリングルールにより、不確実性とモデルの信頼度の変化に適応することで、学習効率が向上する。
• 理論的分析により、最小限のサンプル要件で高い確率的パフォーマンス保証を維持していることが確認された。