[论文解读] Is Q-learning Provably Efficient?

Chi Jin, Zeyuan Allen-Zhu+2 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Bandit Algorithms Research被引用 337

一句话总结

该论文证明，在回合式MDP中，使用UCB探索的Q-learning算法可实现$ O(\sqrt{H^3 SAT}) $的遗憾，与最优遗憾仅相差$ \sqrt{H} $因子——这是首个在无需模拟器的情况下，证明经典无模型强化学习算法具有可证明样本效率的研究。该结果确认了Q-learning在表格化设置下的理论样本效率。

ABSTRACT

Model-free reinforcement learning (RL) algorithms directly parameterize and update value functions or policies, bypassing the modeling of the environment. They are typically simpler, more flexible to use, and thus more prevalent in modern deep RL than model-based approaches. However, empirical work has suggested that they require large numbers of samples to learn. The theoretical question of whether not model-free algorithms are in fact \emph{sample efficient} is one of the most fundamental questions in RL. The problem is unsolved even in the basic scenario with finitely many states and actions. We prove that, in an episodic MDP setting, Q-learning with UCB exploration achieves regret $ lO(\sqrt{H^3 SAT})$ where $S$ and $A$ are the numbers of states and actions, $H$ is the number of steps per episode, and $T$ is the total number of steps. Our regret matches the optimal regret up to a single $\sqrt{H}$ factor. Thus we establish the sample efficiency of a classical model-free approach. Moreover, to the best of our knowledge, this is the first model-free analysis to establish $\sqrt{T}$ regret \emph{without} requiring access to a ``simulator.''

研究动机与目标

• 为解决模型无关强化学习算法（如Q-learning）是否具有可证明样本效率这一根本性开放问题。
• 分析在具有有限状态和动作的回合式MDP中，使用UCB探索的Q-learning的遗憾。
• 为一种经典无模型算法建立在不依赖模拟器情况下的理论样本效率边界。
• 弥合Q-learning在表格化设置下经验性能与理论理解之间的差距。

提出的方法

• 在回合式MDP中使用Q-learning结合上置信度（UCB）探索，以平衡探索与利用。
• 分析在总T步、每回合H步、S个状态和A个动作下的遗憾。
• 应用浓度不等式和鞅论方法，以界定估计误差和遗憾。
• 建立高概率遗憾边界为$ O(\sqrt{H^3 SAT}) $，与信息论下界仅相差$ \sqrt{H} $因子。
• 完全依赖与环境的在线交互，而非模拟器，推导出该边界。
• 提出一种新颖的分析框架，用于追踪跨回合的Q值估计不确定性。

实验结果

研究问题

• RQ1 使用UCB探索的Q-learning能否在表格化回合式MDP中实现可证明的低遗憾？
• RQ2 在无模拟器访问的情况下，无模型Q-learning是否具有样本效率？
• RQ3 Q-learning的遗憾与信息论下界有多接近？
• RQ4 在表格化设置下对Q-learning的分析是否能在无辅助假设的情况下得出依赖$ \sqrt{T} $的遗憾？

主要发现

• 使用UCB探索的Q-learning实现了$ O(\sqrt{H^3 SAT}) $的遗憾，与最优遗憾边界仅相差$ \sqrt{H} $因子。
• 该遗憾边界的推导不依赖于模拟器，使该结果适用于真实在线学习场景。
• 这是首个在无模拟器访问情况下，为无模型算法建立依赖$ \sqrt{T} $的遗憾边界的分析。
• 该结果确认了Q-learning在表格化回合式MDP设置下具有可证明的样本效率。
• 该分析为Q-learning在深度强化学习中经验成功提供了理论基础，尽管其样本效率一直存在担忧。