[論文レビュー] Improved Analysis of UCRL2 with Empirical Bernstein Inequality

Ronan Fruit, Matteo Pirotta+1 more|arXiv (Cornell University)|Jul 10, 2020

Advanced Bandit Algorithms Research参考文献 14被引用数 11

ひとこと要約

本稿では、通信可能なマルコフ決定過程（MDP）における強化学習のための、探索と活用を改善したUCRL2Bというアルゴリズムを提示する。このアルゴリズムは、報酬および遷移確率の信頼区間を厳しく制約するために、経験的ベルヌーイ不等式を活用する。主な貢献は、$ widetilde{O}( sqrt{D\Gamma SAT})$ というレグレットバウンドを達成したことである。これは、従来のバウンドから不適切な$ sqrt{S}$要因を排除し、状態数および行動数に対するより緊密な依存関係を実現することで、前例に優る。

ABSTRACT

We consider the problem of exploration-exploitation in communicating Markov Decision Processes. We provide an analysis of UCRL2 with Empirical Bernstein inequalities (UCRL2B). For any MDP with $S$ states, $A$ actions, $Γ\leq S$ next states and diameter $D$, the regret of UCRL2B is bounded as $\widetilde{O}(\sqrt{DΓS A T})$.

研究の動機と目的

• 経験的ベルヌーイ不等式を用いることで、通信可能なMDPにおけるUCRL2アルゴリズムのレグレット解析を改善すること。
• ヘフディングに基づく信頼区間の代わりに経験的ベルヌーイ不等式を用いることで、従来のレグレットバウンドにおける不適切な$\sqrt{S}$依存性を解消すること。
• 状態数$S$ではなく、各状態-行動ペアから到達可能な次状態の最大数$\Gamma$に依存する、より緊密なレグレットバウンドを達成すること。
• 高確率保証下で、経験的ベルヌーイ不等式を用いたUCRL2の洗練された理論的分析（UCRL2B）を提供すること。
• 情報理論的下界と対数要因を除いて一致するレグレットバウンドを確立し、状態空間および行動空間のサイズに依存する点で、従来の結果を改善すること。

提案手法

• UCRL2Bは、ヘフディングの不等式の代わりに経験的ベルヌーイ不等式を用いて、報酬および遷移確率の高確率信頼区間を構築する。
• アルゴリズムは、経験的ベルヌーイ不等式から導かれる信頼区間を満たす、あり得るMDPの集合上に拡張されたMDPモデル$\mathcal{M}_k$を維持する。
• 各エピソード$k$において、信頼区間を含むMDP上で価値反復を用いて、$r_{\max}/t_k$近似解を最適ベルヌーイ方程式に対して計算する。
• アルゴリズムは、価値関数推定値における二乗偏差の和を制御するための、新しい分散分解および高確率集中不等式を用いる。
• 重要な技術的要素として、$ sum_t \mathbb{V}_{\widehat{p}_{k_t}(\cdot|s_t)}(\alpha h_{k_t})$ の和に対する高確率バウンドの導出があり、これは経験的ベルヌーイフレームワーク下で$\widetilde{O}(r_{\max}^2 D T)$であると示されている。
• 最終的なレグレットバウンドは、分散制御、信頼区間の厳密さ、およびエピソードおよび状態-行動ペア全体にわたる注意深い和集合バウンドの組み合わせによって導出され、高確率での有効性が保証される。

実験結果

リサーチクエスチョン

• RQ1 ヘフディングに基づく信頼区間を経験的ベルヌーイ不等式に置き換えることで、UCRL2のレグレットバウンドを改善できるか？
• RQ2 経験的ベルヌーイ不等式の使用は、状態数$S$および行動数$A$に対するより緊密な依存性をもたらすか？
• RQ3 通信可能なMDPにおける、経験的ベルヌーイに基づく信頼集合で達成可能な最適なレグレットスケーリングは何か？
• RQ4 不適切な$ sqrt{S}$要因は、より緊密な集中不等式によってUCRL2の従来のレグレットバウンドから排除できるか？
• RQ5 各状態-行動ペアから到達可能な次状態の最大数$\Gamma$に比べて、$S$に依存するアルゴリズムの性能スケーリングはどのようになるか？

主な発見

• UCRL2Bのレグレットは、高確率で$\widetilde{O}(\sqrt{D\Gamma SAT})$でバウンドされる。ここで$D$はMDPの直径、$\Gamma$は各状態-行動ペアから到達可能な次状態の最大数、$S$は状態数、$A$は行動数、$T$は時間の長さである。
• このバウンドは、従来のUCRL2の$\widetilde{O}(DS\sqrt{AT})$バウンドを改善しており、明示的な$\sqrt{S}$要因を排除し、$\sqrt{\Gamma}$に置き換えている。$\Gamma$は一般に$S$より小さいため、改善が達成されている。
• この改善は、報酬および遷移確率の分散をよりよく捉える経験的ベルヌーイ不等式から得られるより緊密な信頼区間によって達成される。
• 分析により、価値関数推定値における分散の和が、$\widetilde{O}(r_{\max}^2 D T)$に比例する高確率バウンドによって制御されていることが示された。これにより、より緊密なレグレット制御が可能になった。
• 最終的なレグレットバウンドは、対数要因を除いて情報理論的下界と一致しており、$D$、$\Gamma$、$S$、$A$、$T$に依存する点で、近似的に最適性を示している。
• バウンドは確率$1 - \delta$以上で成り立ち、$\delta$への依存は対数的であり、これはこのような解析で標準的であり、漸近的スケーリングに影響を与えない。