[論文レビュー] Variance-Based Rewards for Approximate Bayesian Reinforcement Learning

Jonathan Sorg, Satinder Singh+1 more|arXiv (Cornell University)|Mar 15, 2012

Reinforcement Learning in Robotics参考文献 5被引用数 9

ひとこと要約

本稿では、環境の事後分布における不確実性を活用することで、探索を向上させる分散に基づく報酬ボーナスを、近似ベイジアン強化学習に提案する。平均MDPを用いた計画において、事後分布からの分散を報酬関数に組み込むことで、特に構造的事前分布を用いた場合に、効率的かつ効果的な探索が達成され、実証的に構造的探索タスクで性能向上を示す。また、多項式的サンプル複雑性を示す。

ABSTRACT

The explore{exploit dilemma is one of the central challenges in Reinforcement Learning (RL). Bayesian RL solves the dilemma by providing the agent with information in the form of a prior distribution over environments; however, full Bayesian planning is intractable. Planning with the mean MDP is a common myopic approximation of Bayesian planning. We derive a novel reward bonus that is a function of the posterior distribution over environments, which, when added to the reward in planning with the mean MDP, results in an agent which explores efficiently and effectively. Although our method is similar to existing methods when given an uninformative or unstructured prior, unlike existing methods, our method can exploit structured priors. We prove that our method results in a polynomial sample complexity and empirically demonstrate its advantages in a structured exploration task.

研究の動機と目的

• 強化学習における探索と活用のジレンマを解決し、ベイジアン強化学習における探索効率を向上させること。
• 計算が非効率になる完全なベイジアン計画の近似としてスケーラブルな手法を開発すること。
• 従来の手法が事前分布を情報のないものとして扱うのとは異なり、構造的事前分布を効果的に活用できるようにすること。
• 強化学習タスクにおける優れた実証的性能を維持しながら、多項式的サンプル複雑性を達成すること。
• 実用的で分散駆動のボーナスを提供し、平均MDPを用いた計画を強化すること。

提案手法

• 本手法は、環境の事後分布における分散に基づく報酬ボーナスを導入し、MDPパラメータの不確実性を定量化する。
• この分散に基づくボーナスは、平均MDPを用いた計画中に報酬信号に追加され、不確実な状態・行動ペアの探索を促進する。
• エージェントは、各相互作用後にベイジアン推論を用いて更新する事後分布を維持するベイジアンフレームワークを採用する。
• ボーナスは、MDPの事後分布にわたる期待リターンの分散を用いて計算され、不確実性が大きい領域での探索を促進する。
• 完全なベイジアン計画を避けるが、理論的保証を維持する計算効率の高い手法として設計されている。
• 価値反復やQ学習などの既存の計画アルゴリズムに自然に統合可能であり、報酬関数を変更することで実現される。

実験結果

リサーチクエスチョン

• RQ1 分散に基づく報酬ボーナスは、ベイジアン強化学習における探索効率を向上させることができるか？
• RQ2 構造的事前分布が利用可能な場合、非構造的または情報のない事前分布と比較して、本手法の性能はどのようになるか？
• RQ3 提案手法は、優れた実証的性能を維持しながらも、多項式的サンプル複雑性を保っているか？
• RQ4 構造的探索タスクにおいて、従来のボーナスベース探索手法を上回ることができるか？
• RQ5 探索を誘導する観点から、分散ベースのボーナスは、平均ベースやエントロピー基地のボーナスよりも効果的か？

主な発見

• 提案手法は多項式的サンプル複雑性を達成し、学習効率に関する理論的保証を提供する。
• 実証的結果から、特に事前分布が意味のある環境構造を反映している場合、構造的探索タスクで優れた性能を示す。
• 非構造的または情報のない事前分布を用いたベースライン手法よりも優れていることが示され、複雑な依存関係を有する環境でも顕著に顕著である。
• 事後分布の分散で測定される高い不確実性領域に注目することで、分散ベースのボーナスはより効果的な探索を実現する。
• 完全なベイジアン計画を避けることで、計算の実行可能性を維持しながらも、事後情報の活用を継続する。
• 異なる事前分布構造にわたり一般化が可能であり、多様な環境において、強靭で適応可能な性能を示す。