[论文解读] Model-Free Reinforcement Learning: from Clipped Pseudo-Regret to Sample Complexity

Zihan Zhang, Yuan Zhou+1 more|arXiv (Cornell University)|Jun 6, 2020

Reinforcement Learning in Robotics参考文献 24被引用 13

一句话总结

本文提出了一种无模型强化学习算法 UCB-MultiStage-Advantage，其在折扣的表格型马尔可夫决策过程（MDPs）中学习 ϵ-最优策略时，实现了渐近最优的样本复杂度。通过利用置信上界探索和多阶段值函数估计，该算法达到了 Õ(SA ln(1/p)/(ϵ²(1−γ)³)) 的样本复杂度，与信息论下限仅相差对数因子，且在 S 和 ϵ 的依赖关系上优于所有先前的无模型与有模型方法。

ABSTRACT

In this paper we consider the problem of learning an $ε$-optimal policy for a discounted Markov Decision Process (MDP). Given an MDP with $S$ states, $A$ actions, the discount factor $γ\in (0,1)$, and an approximation threshold $ε> 0$, we provide a model-free algorithm to learn an $ε$-optimal policy with sample complexity $ ilde{O}(\frac{SA\ln(1/p)}{ε^2(1-γ)^{5.5}})$ (where the notation $ ilde{O}(\cdot)$ hides poly-logarithmic factors of $S,A,1/(1-γ)$, and $1/ε$) and success probability $(1-p)$. For small enough $ε$, we show an improved algorithm with sample complexity $ ilde{O}(\frac{SA\ln(1/p)}{ε^2(1-γ)^{3}})$. While the first bound improves upon all known model-free algorithms and model-based ones with tight dependence on $S$, our second algorithm beats all known sample complexity bounds and matches the information theoretic lower bound up to logarithmic factors.

研究动机与目标

• 弥合无模型与有模型强化学习在学习 ϵ-最优策略的样本复杂度方面的差距。
• 设计一种无模型算法，其空间复杂度为次线性（O(SA)），每步时间复杂度为常数，同时实现对 S、A、ϵ 和 (1−γ) 的最优依赖。
• 在折扣 MDP 中，使样本复杂度的下限与信息论下限相匹配，仅相差对数因子。
• 改进现有无模型算法中对 ϵ 和 (1−γ) 的较差依赖关系，例如先前工作中出现的 Õ(SA/ϵ⁴(1−γ)⁸)。

提出的方法

• 提出 UCB-MultiStage-Advantage，一种使用置信上界来平衡探索与利用的无模型算法。
• 采用多阶段值函数估计框架，以高概率精炼 Q 值估计。
• 引入截断伪损失分析，以限制值估计与最优值之间累积偏差的上界。
• 将估计误差分解为多个分量（M₁ 至 M₄），以控制偏差与方差。
• 应用截断机制，限制大估计误差的影响，确保收敛的稳定性。
• 采用分层探索策略，结合状态-动作访问计数与置信区间，以指导学习过程。

实验结果

研究问题

• RQ1 无模型算法能否在折扣 MDP 中实现与信息论下限相匹配的样本复杂度，用于学习 ϵ-最优策略？
• RQ2 无模型强化学习中，样本复杂度对 S、A、ϵ 和 (1−γ) 的最优依赖关系是什么？
• RQ3 能否设计一种空间复杂度为 O(SA)、每步时间复杂度为 O(1) 的无模型算法，以实现接近最优的样本复杂度？
• RQ4 截断伪损失分析如何帮助限制无模型 Q-learning 变体的收敛速率？
• RQ5 通过改进探索与值函数估计策略，能否显著提升现有无模型算法的性能？

主要发现

• 所提出的 UCB-MultiStage-Advantage 算法以高概率（1−p）实现了 Õ(SA ln(1/p)/(ϵ²(1−γ)³)) 的样本复杂度，与信息论下限仅相差对数因子。
• 当 ϵ 较小时，该算法的样本复杂度为 Õ(SA ln(1/p)/(ϵ²(1−γ)³))，在 S 和 ϵ 的依赖关系上优于所有已知的无模型与有模型算法。
• 该算法保持了 O(SA) 的空间复杂度和每步 O(1) 的时间复杂度，适用于大规模 MDP。
• 分析表明，截断伪损失是限制估计误差并确保收敛至 ϵ-最优策略的关键工具。
• 该方法优于先前的无模型算法，如延迟 Q-learning（Õ(SA/ϵ⁴(1−γ)⁸)）和改进的 Q-learning 变体（Õ(SA/ϵ²(1−γ)⁷)）。
• 理论框架表明，无模型算法可以实现渐近最优的样本复杂度，从而解决了强化学习理论中长期存在的一个开放问题。