[論文レビュー] $Q$-learning with Logarithmic Regret

Kunhe Yang, Lin F. Yang+1 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Bandit Algorithms Research参考文献 42被引用数 16

ひとこと要約

この論文は、厳密に正の部分最適性ギャップ条件の下で、モデルフリーQ学習アルゴリズムに対して、初めて非漸近的対数的レジーットバウンドを確立した。非漸近的レジーットバウンドとして、楽観的Q学習が $ mathcal{O} olimits\left(\frac{SAH^{6}}{\Delta_{ min}}\log(SAT)\right)$ の累積的レジーットを達成することを証明し、$ log(SA)$ 要因を除いてインスタンス依存の下界と一致する。$ Delta_{ min}$ の知識を必要としない。

ABSTRACT

This paper presents the first non-asymptotic result showing that a model-free algorithm can achieve a logarithmic cumulative regret for episodic tabular reinforcement learning if there exists a strictly positive sub-optimality gap in the optimal $Q$-function. We prove that the optimistic $Q$-learning studied in [Jin et al. 2018] enjoys a ${\mathcal{O}}\left(\frac{SA\cdot \mathrm{poly}\left(H ight)}{Δ_{\min}}\log\left(SAT ight) ight)$ cumulative regret bound, where $S$ is the number of states, $A$ is the number of actions, $H$ is the planning horizon, $T$ is the total number of steps, and $Δ_{\min}$ is the minimum sub-optimality gap. This bound matches the information theoretical lower bound in terms of $S,A,T$ up to a $\log\left(SA ight)$ factor. We further extend our analysis to the discounted setting and obtain a similar logarithmic cumulative regret bound.

研究の動機と目的

• モデルフリーQ学習が表形式マルコフ決定過程（MDP）で対数的レジーットを達成できるかどうかという未解決問題を解消すること。
• 実用的環境で一般的な部分最適性ギャップ仮定の下で、楽観的Q学習の分析を行うこと。
• インスタンス依存の下界と対数的要因を除いて一致する非漸近的レジーットバウンドを導出すること。
• 無限ホライズン割引設定へと分析を拡張し、同様のレジーットバウンドを得ること。

提案手法

• 各状態行動レベルにおける推定誤差の重み付き和を用いて、レジーットを制御する、楽観的Q学習のための新規分析フレームワークを提案する。
• 計画ホライズン全体にわたる誤差伝播を再帰的に制御するため、$(C, (1+1/H)w)$-系列を導入する。
• モデルベース解析から適応された「楽観的スプライス」概念にクリッピングトリックを適用し、対数的レジーットを導出する。
• Q値誤差を区間 $[2^{n-1}\Delta_{\min}, 2^n\Delta_{\min})$ へのダイアディック分解により、部分最適行動の数を制御する。
• 集中不等式と再帰的バウンドを用いて、すべてのステップとレベルにわたる累積誤差を制御する。
• 割引率 $\gamma$ を用いて、レジーット定義を調整し、項を割引率でバウンドすることで、割引設定への分析を拡張する。

実験結果

リサーチクエスチョン

• RQ1 厳密に正の部分最適性ギャップの下で、モデルフリーQ学習は表形式MDPで対数的レジーットを達成できるか？
• RQ2 Jinら（2018）の楽観的Q学習アルゴリズムは、インスタンス依存の下界と一致するレジーットバウンドを達成できるか？
• RQ3 モデルフリー設定において、計画ホライズン $H$ と最小部分最適性ギャップ $\Delta_{\min}$ がレジーットにどのように影響するか？
• RQ4 同様の対数的レジーット保証を得られるように、分析を無限ホライズン割引MDP設定に拡張できるか？
• RQ5 レジーットが $H$ と $\Delta_{\min}$ にどのように依存するか。$H^6$ 要因は改善可能か？

主な発見

• 楽観的Q学習アルゴリズムは、表形式MDPで $\mathcal{O}\left(\frac{SAH^{6}}{\Delta_{\min}}\log(SAT)\right)$ の累積的レジーットを達成する。
• このレジーットバウンドは、SimchowitzとJamieson（2019）が示したインスタンス依存の下界と、$S$、$A$、$T$ の $ log(SA)$ 要因を除いて一致する。
• アルゴリズムは、最小部分最適性ギャップ $ Delta_{ min}$ の事前知識を必要としない。
• 割引設定では、レジーットは $\mathcal{O}\left(\frac{SA}{\Delta_{\min}(1-\gamma)^6}\log\left(\frac{SAT}{\Delta_{\min}(1-\gamma)}\right)\right)$ でバウンドされる。
• 分析により、計画ホライズン $H$ に対する $H^6$ の依存性が非最適であることが示され、改善の余地があることが示唆される。
• 本手法により、モデルベース解析から適応された「楽観的スプライス」技術が、新規の再帰的誤差バウンドフレームワークを介して、モデルフリーQ学習へと成功裏に適応された。