[論文レビュー] Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs

Jiafan He, Dongruo Zhou+1 more|arXiv (Cornell University)|Oct 1, 2020

Advanced Bandit Algorithms Research参考文献 32被引用数 9

ひとこと要約

本稿では、割引MDPにおけるモデルベース強化学習アルゴリズムUCBVI-γを提案する。このアルゴリズムは、洗練されたベルンシュタイン型ボーナスと全変動の法則を用いて、ほぼミニマックス最適なレグレットを達成する。上界は$\widetilde{O}(\sqrt{SAT}/(1-\gamma)^{1.5})$であり、下界は$\widetilde{\Omega}(\sqrt{SAT}/(1-\gamma)^{1.5})$であり、対数要因を除いて近似的に最適性が保証される。

ABSTRACT

We study the reinforcement learning problem for discounted Markov Decision Processes (MDPs) under the tabular setting. We propose a model-based algorithm named UCBVI-$γ$, which is based on the \emph{optimism in the face of uncertainty principle} and the Bernstein-type bonus. We show that UCBVI-$γ$ achieves an $ ilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$ regret, where $S$ is the number of states, $A$ is the number of actions, $γ$ is the discount factor and $T$ is the number of steps. In addition, we construct a class of hard MDPs and show that for any algorithm, the expected regret is at least $ ildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$. Our upper bound matches the minimax lower bound up to logarithmic factors, which suggests that UCBVI-$γ$ is nearly minimax optimal for discounted MDPs.

研究の動機と目的

• 割引MDPにおける既存のオンライン強化学習アルゴリズムと理論的ミニマックス下界との差を埋めること。
• 生成モデルを必要とせず、実用的でモデルベースのアルゴリズムを設計し、ほぼ最適なレグレットを達成すること。
• 割引MDPにおけるレグレットのほぼ一致する上界と下界を確立し、対数要因を除いてミニマックス最適性を確認すること。
• 既存の$\widetilde{O}(\sqrt{SAT}/(1-\gamma)^{2.5})$のレグレットバウンドを$(1-\gamma)^{-1}$の要因で改善すること。

提案手法

• アルゴリズムUCBVI-γは、不確実性への楽観主義（OFU）の原則に基づき、上界をタイトにするために洗練されたベルンシュタイン型ボーナスを組み込む。
• 値関数更新における推定誤差をより良く制御するために、全変動の法則を用いる。
• 経験的カウントと分散推定値から導かれる信頼区間を用いた価値反復を実行する。
• 時間ステップに跨る再帰的レグレット分解と集中不等式を組み合わせた、革新的な解析手法を用いる。
• 経験的報酬と訪問回数・分散に依存するボーナス項を組み合わせて、価値関数の上界信頼区間を維持する。
• レグレット解析では、時間ホライズンに跨る再帰的分解を用い、コーシー・シュワルツ不等式などの不等式を適用して累積的な非最適性をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 モデルベースのオンラインRLアルゴリズムは、割引MDPにおいて、対数要因を除いてミニマックス下界と一致するレグレットを達成できるか？
• RQ2 標準的なUCBやQ学習手法と比較して、洗練されたベルンシュタイン型ボーナスの使用は、より良いレグレットバウンドをもたらすか？
• RQ3 オンライン学習における割引MDPの、最もタイトな可能なレグレット下界は何か？
• RQ4 割引因子$\gamma$に依存するレグレットの依存性を$O((1-\gamma)^{-2.5})$から$O((1-\gamma)^{-1.5})$に改善できるか？

主な発見

• 提案されたUCBVI-γアルゴリズムは、割引MDPにおいて上界レグレット$\widetilde{O}(\sqrt{SAT}/(1-\gamma)^{1.5})$を達成する。
• 本稿では、期待レグレットに$\widetilde{\Omega}(\sqrt{SAT}/(1-\gamma)^{1.5})$の下界を与える、難しいMDPのクラスを構築する。
• 上界と下界は対数要因を除いて一致しており、UCBVI-γがほぼミニマックス最適であることが確認される。
• Double Q学習[15]など先行研究の$\widetilde{O}(\sqrt{SAT}/(1-\gamma)^{2.5})$のレグレットバウンドを改善している。
• 一般的な特徴マッピングに起因する$S^2A$依存性を回避するため、表形式設定において線形混合MDPに基づく手法よりも優れる。
• 解析により、洗練されたベルンシュタインボーナスと分散に配慮した信頼区間が、改善されたレグレットスケーリングを達成するために不可欠であることが示された。