[論文レビュー] Beyond Value-Function Gaps: Improved Instance-Dependent Regret Bounds for Episodic Reinforcement Learning

Christoph Dann, Teodor V. Marinov+2 more|arXiv (Cornell University)|Jul 2, 2021

Advanced Bandit Algorithms Research参考文献 36被引用数 5

ひとこと要約

本稿では、最適方策下での到達可能性にのみ注目することで、エピソード的MDPにおける学習の難易度をよりよく捉える新しいギャップ定義—リターンギャップ—を導入する。オプティミスティックなアルゴリズムのインスタンス依存のレギュレートバウンドをより厳密に導出し、最適方策が一意である場合にのみ、決定的MDPにおいて近似的に最適な性能を達成できることを示し、価値関数ギャップに基づく先行研究を改善した上界と下界を確立する。

ABSTRACT

We provide improved gap-dependent regret bounds for reinforcement learning in finite episodic Markov decision processes. Compared to prior work, our bounds depend on alternative definitions of gaps. These definitions are based on the insight that, in order to achieve a favorable regret, an algorithm does not need to learn how to behave optimally in states that are not reached by an optimal policy. We prove tighter upper regret bounds for optimistic algorithms and accompany them with new information-theoretic lower bounds for a large class of MDPs. Our results show that optimistic algorithms can not achieve the information-theoretic lower bounds even in deterministic MDPs unless there is a unique optimal policy.

研究の動機と目的

• 既存の価値関数ギャップに基づくレギュレートバウンドの限界を是正する。これらは、最適方策下での到達可能性に関係なく、すべての状態行動ペアを同等に扱う。
• 最適方策下で到達可能な状態にのみ注目することで、実際の学習の難易度を反映する新しいギャップ定義—リターンギャップ—を提案する。
• この新しいギャップ定義を用いて、オプティミスティックなアルゴリズムの改善された上界レギュレートバウンドを導出する。
• オプティミスティックなアルゴリズムの根本的限界を明らかにする新しい情報理論的下界を確立する。
• 決定的MDPにおいて、最適方策が一意でない限り、オプティミスティックなアルゴリズムは情報理論的下界に一致できないことを示す。

提案手法

• 最適方策と特定の状態行動ペアで逸脱する部分最適方策との間のリターンの差を測る、新しいギャップ定義であるリターンギャップを提案する。
• 最適方策下での状態行動ペアの到達可能性に条件づけたレギュレートバウンドの分析フレームワークを用い、到達不可能な部分最適行動に対する過剰なペナルティを回避する。
• クリッピングされた余剰分解技術を適用し、新たな最適化補題（補題F.16）を活用することで、上界におけるHの要因を節約する。
• 上界を $ Oigl( rac{ ext{poly}(H) imes ext{polylog}(K)}{ ext{リターンギャップ}} igr) $ の形に導出し、従来の $ O(H imes ext{log}(K)/ ext{価値関数ギャップ}) $ のバウンドを改善する。
• リターンギャップに依存する新しい情報理論的下界を確立し、オプティミスティックなアルゴリズムの上界と下界の間に $ H^2 $ のギャップがあることを示す。
• 決定的遷移を持つ玩具的MDPの例を用いて、価値関数ギャップが過剰に悲観的であることが示され、リターンギャップが学習の難易度をより適切に反映していることを示す。

実験結果

リサーチクエスチョン

• RQ1 最適方策下での到達可能性を考慮してギャップの定義を見直すことで、エピソード的強化学習におけるレギュレートバウンドを改善できるか？
• RQ2 伝統的な価値関数ギャップと比較して、新しいリターンギャップ定義は、タイトさと実用的妥当性の両面でどのように優れているか？
• RQ3 オプティミスティックなアルゴリズムは、決定的MDPにおいてどの程度情報理論的下界に近づけるか？
• RQ4 最適方策が一意でない場合、オプティミスティックなアルゴリズムの上界と下界の根本的ギャップはどの程度か？
• RQ5 最適方策が実際に到達可能な状態における部分最適行動にのみ注目することで、よりタイトなレギュレートバウンドを導出できるか？

主な発見

• 本稿では、最適方策下での到達可能な状態行動ペアにのみ依存する新しいリターンギャップ定義を導入し、大幅にタイトなレギュレートバウンドを達成する。
• リターンギャップを用いた上界レギュレートバウンドは $ Oigl( rac{SH ext{log}(K)}{ ext{最小リターンギャップ}} igr) $ であり、従来の $ Oigl( rac{SH ext{log}(K)}{ ext{最小価値関数ギャップ}} igr) $ のバウンドを改善する。
• リターンギャップの情報理論的下界は $ igOmegaigl( rac{ ext{log}(K)}{H imes ext{リターンギャップ}} igr) $ であり、オプティミスティックなアルゴリズムの上界と下界の間に $ H^2 $ のギャップがあることを示している。
• 決定的MDPにおいて、最適方策が一意でない限り、オプティミスティックなアルゴリズムは情報理論的下界に達成できない。
• 解析により、価値関数ギャップは、到達不可能な部分最適行動の学習を過剰にペナルティとして扱うため、過剰に悲観的であることが明らかになった。一方、リターンギャップは真の学習の難易度を適切に反映している。