[論文レビュー] Non-Asymptotic Gap-Dependent Regret Bounds for Tabular MDPs

Max Simchowitz, Kevin Jamieson|arXiv (Cornell University)|May 9, 2019

Advanced Bandit Algorithms Research参考文献 15被引用数 32

ひとこと要約

楽観的でモデルベースのアルゴリズムが、ギャップ依存の非漸近的対数レグレットをエピソード的な表形式MDPに対して達成し、新しいクリップドレグレット分解を介して log(T) と minimax sqrt(HSAT) の間を補間する。

ABSTRACT

This paper establishes that optimistic algorithms attain gap-dependent and non-asymptotic logarithmic regret for episodic MDPs. In contrast to prior work, our bounds do not suffer a dependence on diameter-like quantities or ergodicity, and smoothly interpolate between the gap dependent logarithmic-regret, and the $\widetilde{\mathcal{O}}(\sqrt{HSAT})$-minimax rate. The key technique in our analysis is a novel "clipped" regret decomposition which applies to a broad family of recent optimistic algorithms for episodic MDPs.

研究の動機と目的

• サブ最適性ギャップを通じてインスタンス構造がエピソード的表形式MDPのレグレット境界を改善する動機付けと定量化。
• ギャップ依存の非漸近的対数レグレットを達成する楽観的アルゴリズム StrongEuler の開発と解析。
• 広範な楽観的アルゴリズム群に拡張される分解手法（クリップドレグレット）の提供。
• ギャップ依存の log(T) レグレットと minimax sqrt(HSAT T) レグレットの間の補間を、直径様の依存性なしに示す。

提案手法

• EULERのわずかな派生であるStrongEulerに特化し、C_M log(1/δ) の高確率レグレット境界を証明。
• 新規のクリップドレグレット分解（命題3.1）を導入し、クリップド楽観的上余を介してレグレットを界定。
• サブ最適性ギャップ gap_h(x,a) と gap_min を定義し、それらがレグレットに及ぶ影響を分析（Corollary 2.1, Theorem 2.4）。
• レグレットを、逆ギャップ、ホライズン H、状態-行動の出現回数、および問題依存定数に依存する項で界定し、直径やエルゴード性の指標を避ける。
• 解析がStrongEulerを超える広範な楽観的アルゴリズムのクラスへ拡張できることを示す。
• ホライズン依存が小さくなる良性な問題設定を特定する（文脈バンディット、G-有界報酬）。

実験結果

リサーチクエスチョン

• RQ1 楽観的でモデルベースのアルゴリズムは、エピソード的な表形式MDPに対してギャップ依存の非漸近的レグレット境界を達成できるか？
• RQ2 直径やエルゴダシティに依存せず、サブ最適性ギャップ、ホライズン、状態数、行動数とともにレグレットはどのようにスケールするか？
• RQ3 クリップドレグレット分解は StrongEuler および関連アルゴリズムに対してより鮮明でインスタンス依存の log(T) レグレット境界をもたらすか？
• RQ4 問題インスタンスと T に対して、レグレットは log(T) とミニマックス sqrt(HST A) の間でどう補間されるか？
• RQ5 この設定における楽観的アルゴリズムのギャップ依存的改善の限界を示す下界は何か？

主な発見

• StrongEuler はすべての T に対して高確率レグレット境界 C_M log(1/δ) を達成し、C_M はギャップと H に依存し、poly(H) にスケールする加法的なバーンイン項を持つ。
• コロラリー 2.1 は、サブ最適な状態-行動ペアの和と最適ペアの項を含むレグレット境界を与え、さらに log 因子を伴う H^4SA( S∨H ) の因子を含む。
• レグレット境界は log(T) ギャップ依存性能とミニマックス √(HSAT) レートの間を補間する（定理 2.4）。
• 新規のクリップドレグレット分解（命題 3.1）は、広範な楽観的アルゴリズムファミリに対してギャップ依存的・非漸近的解析を可能にする。
• 逆ギャップ和項が一般に改善不能である下界と、gap_min 依存が避けられない事例を示す例があり、楽観的手法の本質的な限界を浮き彫りにする。
• 解析はホライズン依存を鋭くできる良性な問題インスタンス（文脈バンディットや G-有界報酬）にも拡張される。