[論文レビュー] Worst-Case Regret Bounds for Exploration via Randomized Value Functions

Daniel Russo|arXiv (Cornell University)|Jun 7, 2019

Advanced Bandit Algorithms Research参考文献 27被引用数 16

ひとこと要約

本稿では、訓練データにガウスノイズを注入してランダム化された価値関数を生成することで、表形式の有限時horizon MDPにおける探索を実現する、確率的最小二乗価値反復（RLSVI）を提案する。本手法に対して、初めての最悪ケースのレグレットバウンドを確立し、一般条件のもとで多項式的レグレットであることを証明することで、ε-greedy やボルツマン探索に代わる理論的裏付けがあり実用的である代替手法を提供する。

ABSTRACT

This paper studies a recent proposal to use randomized value functions to drive exploration in reinforcement learning. These randomized value functions are generated by injecting random noise into the training data, making the approach compatible with many popular methods for estimating parameterized value functions. By providing a worst-case regret bound for tabular finite-horizon Markov decision processes, we show that planning with respect to these randomized value functions can induce provably efficient exploration.

研究の動機と目的

• 実装可能な価値関数学習アルゴリズムと互換性がある理論的裏付けのある探索手法の開発。
• ε-greedy やボルツマン探索といった単純な探索戦略の限界を解消すること、これらは単純なMDPでも失敗する可能性がある。
• ランダム化価値関数を用いて探索を生成するRLSVIの最悪ケースレグレットバウンドの提供。
• ベイジアン事前分布や後立サンプリングに依存しない、頻度主義的分析の確立。
• 表形式MDPにおいて多項式的最悪ケースレグレットバウンドを満たす探索アルゴリズムの体系を拡張すること。

提案手法

• RLSVIは、最小二乗方策反復の過程で、報酬と遷移推定値に独立したガウスノイズを注入することで、ランダム化された価値関数を生成する。
• 本手法は、ノイズ付き報酬 $\hat{R}^k + w^k$ と推定遷移 $\hat{P}^k$ を持つ摂動付きMDPモデル $\overline{M}^k$ を用いる。ここで $w^k$ は独立同分布のガウスノイズである。
• 探索は、摂動付きMDPにおける最適方策 $\pi^k$ に対するランダム化価値関数 $V(\overline{M}^k, \pi^k)$ に基づく計画によって駆動される。
• 重要な技術的ステップとして、各サンプルされた価値関数が一定確率で楽観的であることが示され、レグレット解析に集中不等式を適用可能になる。
• 政策選択と推定誤差の分離を可能にするために、摂動付きMDPの架空の独立コピー $\tilde{M}^k$ を用いる。これにより、期待されるレグレット差の上界が得られる。
• 証明は、[13] に由来する最大不等式と集中不等式を、報酬および遷移の推定誤差の価値関数に適用することに依存する。

実験結果

リサーチクエスチョン

• RQ1 訓練データへのノイズ注入によって生成されるランダム化価値関数は、表形式MDPにおいて保証された効率的探索を可能にするか？
• RQ2 RLSVIは、ベイジアン事前分布に依存せずに、問題パラメータに関して多項式的最悪ケースレグレットバウンドを達成するか？
• RQ3 頻度主義的設定において、RLSVIの性能は楽観的アルゴリズムと比較して理論的保証においてどのように差がつくか？
• RQ4 線形バンディットにおけるトムソンサンプリングの解析を、このランダム化価値関数アプローチによって表形式強化学習に適応可能か？
• RQ5 ノイズ分散は、RLSVIフレームワークにおいて楽観性の確保とレグレットの制御において果たす役割は何か？

主な発見

• 本稿は、表形式の有限時horizon MDPにおけるRLSVIの最悪ケースレグレットバウンドを確立し、パラメータの多項式的増加に伴いレグレットが増加することを示した。
• レグレットバウンドは $\tilde{O}(H^3 \sqrt{SK})$ のオーダーであり、ここで $H$ は時horizon、$S$ は状態数、$A$ は行動数、$K$ はエピソード数を表す。
• 解析により、RLSVIがサンプリングする各ランダム化価値関数が一定確率で楽観的であることが示された。これは、レグレット導出における重要なステップである。
• 報酬および遷移推定誤差の集中不等式を用いて、摂動付きMDPと真のMDPの価値関数の期待差が上界で抑えられることを示した。
• 価値関数ノルム $\|V^{k}_{h+1}\|_\infty$ の上界は $\tilde{O}(H^{5/2}\sqrt{S})$ であることが示され、全体のレグレットスケーリングに寄与している。
• 明示的な不確実性集合や後立サンプリングを必要とせず、標準的な関数近似とも互換性があるため、頑健な性能を達成している。