[論文レビュー] Near-optimal Optimistic Reinforcement Learning using Empirical Bernstein Inequalities

Aristide C. Y. Tossou, Debabrota Basu+1 more|arXiv (Cornell University)|May 27, 2019

Reinforcement Learning in Robotics参考文献 22被引用数 12

ひとこと要約

この論文は、有限の通信可能なMDPに対して、分散を考慮した信頼区間を構築するために経験的ベルヌーイ不等式を用いるモデルベース強化学習アルゴリズムUCRL-Vを提案する。これらの tighter な境界を活用することで、追加のMDPに関する仮定なしに、$ ilde{/mathcal{O}}(ackslash sqrt{DSAT})$ の近似的最適なレグレットを達成する。

ABSTRACT

We study model-based reinforcement learning in an unknown finite communicating Markov decision process. We propose a simple algorithm that leverages a variance based confidence interval. We show that the proposed algorithm, UCRL-V, achieves the optimal regret $ ilde{\mathcal{O}}(\sqrt{DSAT})$ up to logarithmic factors, and so our work closes a gap with the lower bound without additional assumptions on the MDP. We perform experiments in a variety of environments that validates the theoretical bounds as well as prove UCRL-V to be better than the state-of-the-art algorithms.

研究の動機と目的

• 有限の通信可能なMDPにおける既存の楽観的RLアルゴリズムと既知の$\Omega(\sqrt{DSAT})$ の下界との間のレグレットギャップを解消すること。
• MDPの構造に関する追加仮定を必要とせず、最適なレグレットを達成するモデルベースRLアルゴリズムを設計すること。
• 経験的ベルヌーイ不等式を用いて分散情報を統合することで、探索における信頼区間推定を改善すること。
• 多様な環境における理論的改善の妥当性を、実験的評価を通じて検証すること。

提案手法

• アルゴリズムは、分散を考慮した経験的ベルヌーイ不等式を用いて報酬および遷移確率の信頼区間を構築し、標準的なホイーディング型の境界よりも tighter な境界を達成する。
• 真のMDPを高い確率で含む妥当なMDPの集合に対して、楽観的な価値反復手順を実行する。この集合は分散を考慮した信頼区間に基づく。
• 各状態行動ペairが十分に訪問されるように保証するため、エピソードのスケジューリングにダブルイングトリックを用いる。
• アルゴリズムは報酬および遷移確率の推定値を動的に更新し、各エピソード後に再び楽観的な方策を再計算する。
• 理論的分析では、推定誤差および方策レグレットを制限するために、部分モジュラー関数の性質と集中不等式に依存する。
• レグレット分析では、経験的ベルヌーイ不等式を用いて推定値と真の値の乖離を制御し、よりタイトな高確率境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 経験的ベルヌーイ不等式から導かれる分散を考慮した信頼区間は、モデルベースRLにおけるよりタイトなレグレット境界をもたらすか？
• RQ2 提案されたアルゴリズムは、MDPに関する追加仮定なしに、$\Omega(\sqrt{DSAT})$ の理論的下界に近いレグレットを達成するか？
• RQ3 UCRL2 や UCBVI といった最先端のアルゴリズムと比較して、レグレットおよびサンプル効率の観点で、本アルゴリズムの性能はどのように異なるか？
• RQ4 分散に基づいた信頼区間の使用は、有限の通信可能なMDPにおける探索効率を向上させるか？

主な発見

• UCRL-Vは$\tilde{\mathcal{O}}(\sqrt{DSAT})$ のレグレット境界を達成し、既知の下界と対数要因を除いて一致する。
• 本研究の楽観的RLアルゴリズムが直面していたレグレットギャップを解消し、以前のアルゴリズムが最適でない境界を持っていたり、MDPに関する追加仮定を必要としていたのを改善した。
• 実験的評価により、UCRL-Vが複数の環境においてUCRL2 や UCBVI といった最先端のアルゴリズムを、レグレットおよびサンプル効率の両面で上回ることが示された。
• 経験的ベルヌーイ不等式の使用により、よりタイトな信頼区間が得られ、結果としてより効率的な探索と高速な収束が実現された。
• 理論的分析により、妥当なMDP集合上で計算された楽観的な方策が、分散を考慮した信頼区間のもとで、境界付きのレグレットを保証することが確認された。