[論文レビュー] Variational Bayesian Reinforcement Learning with Regret Bounds

Brendan O’Donoghue|arXiv (Cornell University)|Jul 25, 2018

Advanced Bandit Algorithms Research参考文献 100被引用数 15

ひとこと要約

本稿では、期待報酬とエピステミック的不確実性の両方を符号化する新しい「知識価値」（K値）を用いた、変分ベイジアン強化学習アルゴリズムであるK-学習を提案する。リスク・シーキングな指数型効用関数を最適化し、K値上でのボルツマン方策に従うことで、$ ilde{O}(Lackslashsqrt{SAT})$ のベイズレグレットバウンドを達成し、トムソンサンプリングの最良-knownバウンドと一致し、情報理論的下界に近い性能を示す。

ABSTRACT

In reinforcement learning the Q-values summarize the expected future rewards that the agent will attain. However, they cannot capture the epistemic uncertainty about those rewards. In this work we derive a new Bellman operator with associated fixed point we call the `knowledge values'. These K-values compress both the expected future rewards and the epistemic uncertainty into a single value, so that high uncertainty, high reward, or both, can yield high K-values. The key principle is to endow the agent with a risk-seeking utility function that is carefully tuned to balance exploration and exploitation. When the agent follows a Boltzmann policy over the K-values it yields a Bayes regret bound of $ ilde O(L \sqrt{S A T})$, where $L$ is the time horizon, $S$ is the total number of states, $A$ is the number of actions, and $T$ is the number of elapsed timesteps. We show deep connections of this approach to the soft-max and maximum-entropy strands of research in reinforcement learning.

研究の動機と目的

• エピステミック的不確実性を価値関数に組み込むことで、ベイジアン強化学習における探索と活用のトレードオフを解消すること。
• 事後分布をMDPの上に維持する、実行可能でモデルベースのアルゴリズムを構築し、効率的な方策最適化を可能にすること。
• エントロピー正則化を効用最大化を通じて自然に統合することで、最先端の性能と一致するレグレットバウンドを導出すること。
• 探索を不確実性によって駆動する原理的な枠組みを提供し、恣意的なボーナス機構を回避すること。

提案手法

• 期待される将来報酬とエピステミック的不確実性を1つのスカラに圧縮する、新しいベルマン作用素の不動点としてK値を導入する。
• リスク・シーキングな行動を誘発するため、指数型効用関数を用いる。これにより、高い不確実性または高い期待報酬を持つ行動が優遇される。
• K値上での温度パラメータを用いたソフトマックスによる方策の効率的計算を可能にする、双対最適化問題（式27）を導出する。
• 強い双対性とラグランジュ緩和を用いて、レグレットバウンド最適化を目的とした方策更新則を導出する。
• 温度パラメータ$ackslashtau_t$ を用いてエントロピー正則化を動的に制御し、探索と活用のバランスを最適化する。
• 累積逆訪問回数のバウンドを可能にする、ピグインホール原理に基づく補題（補題6）を適用する。

実験結果

リサーチクエスチョン

• RQ1 エピステミック的不確実性を明示的に符号化するリスク・シーキングな効用関数は、実行可能で、かつ、リスク最小化に適した強化学習アルゴリズムを導くことができるか？
• RQ2 K値上でのソフトマックス方策は、原理的でない効用最大化フレームワークからどのように導出可能か？これにより最適な探索が保証されるか？
• RQ3 モデルベースのベイジアン強化学習アルゴリズムが価値推定における不確実性を組み込む場合、達成可能な最もタイトなベイズレグレットバウンドは何か？
• RQ4 ソフトQ学習におけるエントロピー・ボーナスは、固定されたハイパーパrameterではなく、効用最大化の結果として導出可能か？
• RQ5 提案手法は、トムソンサンプリングや他の最先端のベイジアン強化学習アルゴリズムと比較して、どの程度のレグレット性能を示すか？

主な発見

• 提案されたK-学習アルゴリズムは、$ ilde{O}(Lackslashsqrt{SAT})$ のベイズレグレットバウンドを達成し、対数要因を除いてトムソンサンプリングの最良-knownバウンドと一致する。
• このレグレットバウンドは、情報理論的下界$ackslashOmega(\sqrt{LSAT})$ に対して$ackslashsqrt{L}$ 要因の差で、近似的に最適性を示す。
• 方策におけるエントロピー正則化は固定されたハイパーパrameterではなく、レグレット最小化を目的とした最適化がなされる温度$ackslashtau_t$ によって動的に制御される。
• K値の定式化により、期待報酬とエピステミック的不確実性が自然に統合され、リスク・シーキングな探索を可能にする単一の値表現が実現される。
• 理論的分析により、双対最適化問題から導出された方策が、強い双対性のもとで導出されたレグレットバウンドを満たすことが確認された。
• 本手法は、指数型効用最大化の観点から、ソフトQ学習、最大エントロピー強化学習、ベイジアン探索の間に深い関係を確立している。