[論文レビュー] Model-Based Bayesian Exploration

Richard Dearden, Nir Friedman+1 more|arXiv (Cornell University)|Jan 23, 2013

Reinforcement Learning in Robotics参考文献 16被引用数 234

ひとこと要約

本論文は強化学習におけるモデルベースのベイジアン探索手法を提案する。この手法は、環境パラメータの不確実性を明示的にモデル化し、Q値の事後分布を用いて行動選択のための短期的価値の情報（value of information）を計算する。ベイジアン推論を通じて探索と活用のバランスを図ることで、部分的に観測可能な環境において、より高いサンプル効率と意思決定の質を達成する。実験的検証により、ベースライン探索戦略よりも優れた性能を示している。

ABSTRACT

Reinforcement learning systems are often concerned with balancing exploration of untested actions against exploitation of actions that are known to be good. The benefit of exploration can be estimated using the classical notion of Value of Information - the expected improvement in future decision quality arising from the information acquired by exploration. Estimating this quantity requires an assessment of the agent's uncertainty about its current value estimates for states. In this paper we investigate ways of representing and reasoning about this uncertainty in algorithms where the system attempts to learn a model of its environment. We explicitly represent uncertainty about the parameters of the model and build probability distributions over Q-values based on these. These distributions are used to compute a myopic approximation to the value of information for each action and hence to select the action that best balances exploration and exploitation.

研究の動機と目的

• モデルベース強化学習における探索と活用のバランスをとる課題に対処すること。
• ベイジアン確率分布を用いて、環境パラメータおよび価値推定の不確実性をモデル化すること。
• 行動選択のための実用的で短期的（myopic）な価値の情報の近似を構築すること。
• 原理的な探索戦略を通じて、部分的に観測可能な環境におけるサンプル効率と意思決定の質を向上させること。

提案手法

• モデルパラメータの不確実性を共役事前分布を用いて表現し、ベイジアン推論により解析的更新を可能にする。
• ベルマン更新を通じてモデルパラメータからの不確実性を伝搬させることで、Q値の事後分布を構築する。
• 各行動について、不確実性の低減による将来の意思決定品質の向上の期待値を推定することで、短期的価値の情報（myopic value of information）を計算する。
• この推定された価値の情報の最大化により行動選択を導く。特に、高い影響を持つ状態における不確実性を低減する行動を優先する。
• エージェントが環境ダイナミクスの確率的モデルを学習するモデルベースのフレームワークを用いる。
• ベイジアン更新とQ値推定を統合することで、行動価値の分布を維持し、不確実性を考慮した探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルベース強化学習において、モデルパラメータの不確実性を効果的に表現し、それをQ値分布の推定に伝搬させる方法は何か？
• RQ2 価値の情報の短期的近似を用いることで、探索効率にどのような影響が生じるか？
• RQ3 Q値の不確実性をベイジアンモデル化することで、ヒューリスティック的または非確率的手法よりも優れた探索戦略が得られるか？
• RQ4 サンプル効率および収束速度の観点から、提案手法は既存の探索戦略とどのように比較されるか？
• RQ5 明示的な不確実性表現は、部分的に観測可能な環境における意思決定の質をどのように向上させるか？

主な発見

• 特に報酬がスパarsityな環境において、ベースライン探索戦略に比べて優れたサンプル効率を達成する。
• Q値の不確実性を明示的にモデル化することで、レグレット（regret）が低減し、長期的な累積報酬が向上する。
• 短期的価値の情報の近似は、高価値状態における不確実性を低減する行動を効果的に優先する。
• 実験的結果から、ベイジアン探索戦略は非ベイジアン代替手法よりも高速かつ安定して収束することが示された。
• 複数のベンチマーク環境において、本手法はロバストな性能を示し、実世界の強化学習設定における有効性を検証した。
• モデルベース学習とベイジアン不確実性定量化の統合により、より情報に基づいたかつ効率的な探索意思決定が可能になった。