[論文レビュー] Is Q-learning Provably Efficient?

Chi Jin, Zeyuan Allen-Zhu+2 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Bandit Algorithms Research被引用数 337

ひとこと要約

この論文は、エピソード的MDPにおけるQ学習にUCB探索を適用した場合、$ O(\sqrt{H^3 SAT}) $ のレグレットを達成することを証明している。これは、$ \sqrt{H} $ 要因を除いて最適なレグレットと一致しており、シミュレータを必要としない古典的なモデルフリー強化学習アルゴリズムとして、初めての証明可能なサンプル効率性を確立している。この結果は、表形式設定におけるQ学習の理論的サンプル効率性を裏付けている。

ABSTRACT

Model-free reinforcement learning (RL) algorithms directly parameterize and update value functions or policies, bypassing the modeling of the environment. They are typically simpler, more flexible to use, and thus more prevalent in modern deep RL than model-based approaches. However, empirical work has suggested that they require large numbers of samples to learn. The theoretical question of whether not model-free algorithms are in fact \emph{sample efficient} is one of the most fundamental questions in RL. The problem is unsolved even in the basic scenario with finitely many states and actions. We prove that, in an episodic MDP setting, Q-learning with UCB exploration achieves regret $ lO(\sqrt{H^3 SAT})$ where $S$ and $A$ are the numbers of states and actions, $H$ is the number of steps per episode, and $T$ is the total number of steps. Our regret matches the optimal regret up to a single $\sqrt{H}$ factor. Thus we establish the sample efficiency of a classical model-free approach. Moreover, to the best of our knowledge, this is the first model-free analysis to establish $\sqrt{T}$ regret \emph{without} requiring access to a ``simulator.''

研究の動機と目的

• モデルフリー強化学習アルゴリズム（例：Q学習）が、証明可能なサンプル効率性を有するかどうかという根本的な未解決問題を解消すること。
• 有限状態および行動を有するエピソード的MDPにおけるQ学習にUCB探索を適用した場合のレグレットを分析すること。
• シミュレータに依存しない古典的なモデルフリーアルゴリズムのサンプル効率性に対する理論的バウンドを確立すること。
• 表形式設定におけるQ学習の実効的性能と理論的理解のギャップを埋めること。

提案手法

• エピソード的MDPにおける探索と活用のバランスを図るために、Q学習に上界信頼性（UCB）探索を適用する。
• 全Tステップにわたるレグレットを分析し、1エピソードあたりHステップ、S状態、A行動を想定する。
• 集中不等式とマルティングールの議論を用いて、推定誤差とレグレットをバウンドする。
• 高確率でのレグレットバウンドとして $ O(\sqrt{H^3 SAT}) $ を確立し、情報理論的下界と $ \sqrt{H} $ 要因を除いて一致する。
• バウンドの導出に、シミュレータではなく、環境とのオンライン相互作用にのみ依存する。
• エピソード全体にわたるQ値推定の不確実性を追跡する、独自の分析フレームワークを導入する。

実験結果

リサーチクエスチョン

• RQ1 Q学習にUCB探索を適用した場合、表形式のエピソード的MDPで証明可能な低レグレットを達成できるか？
• RQ2 シミュレータへのアクセスなしに、モデルフリーQ学習はサンプル効率的か？
• RQ3 Q学習のレグレットは、情報理論的下界にどの程度近いか？
• RQ4 表形式設定におけるQ学習の分析は、補助的仮定なしに $ \sqrt{T} $ 依存のレグレットを導くことができるか？

主な発見

• Q学習にUCB探索を適用した場合、$ O(\sqrt{H^3 SAT}) $ のレグレットを達成でき、これは $ \sqrt{H} $ 要因を除いて最適なバウンドと一致する。
• このレグレットバウンドは、シミュレータへのアクセスを必要としないため、実際のオンライン学習設定に適用可能である。
• これは、シミュレータへのアクセスなしに、表形式MDPにおける $ \sqrt{T} $ 依存のレグレットを確立した初のモデルフリー解析である。
• この結果は、Q学習が表形式のエピソード的MDP設定において、証明可能なサンプル効率性を有することを裏付けている。
• この分析は、深層強化学習におけるQ学習の実効的性能の理論的基盤を提供するが、そのサンプル非効率性への懸念にもかかわらず。