[论文解读] A Lyapunov Theory for Finite-Sample Guarantees of Asynchronous Q-Learning and TD-Learning Variants

Zaiwei Chen, Siva Theja Maguluri+2 more|arXiv (Cornell University)|Feb 2, 2021

Reinforcement Learning in Robotics参考文献 54被引用 17

一句话总结

本文提出了一套统一的基于李雅普诺夫的框架，为异步值函数强化学习算法（包括Q-learning、n步TD、TD(λ)和V-trace）建立了有限样本均方收敛保证。通过将这些算法建模为马尔可夫随机逼近过程，作者推导出显式的收敛速率和样本复杂度边界，解决了长期存在的bootstrapping效率中的偏差-方差权衡问题。

ABSTRACT

This paper develops an unified framework to study finite-sample convergence guarantees of a large class of value-based asynchronous reinforcement learning (RL) algorithms. We do this by first reformulating the RL algorithms as extit{Markovian Stochastic Approximation} (SA) algorithms to solve fixed-point equations. We then develop a Lyapunov analysis and derive mean-square error bounds on the convergence of the Markovian SA. Based on this result, we establish finite-sample mean-square convergence bounds for asynchronous RL algorithms such as $Q$-learning, $n$-step TD, TD$(λ)$, and off-policy TD algorithms including V-trace. As a by-product, by analyzing the convergence bounds of $n$-step TD and TD$(λ)$, we provide theoretical insights into the bias-variance trade-off, i.e., efficiency of bootstrapping in RL. This was first posed as an open problem in (Sutton, 1999).

研究动机与目标

• 解决异步值函数强化学习算法缺乏有限样本收敛保证的问题。
• 在单一理论框架下统一分析多种算法——Q-learning、n步TD、TD(λ)和V-trace。
• 通过定量分析偏差-方差权衡，解决强化学习中bootstrapping效率的开放问题。
• 为异步V-trace算法首次提供有限样本收敛边界。
• 推导出显式样本复杂度边界，揭示n-step TD与TD(λ)的最优超参数选择。

提出的方法

• 将异步强化学习算法重新表述为求解固定点贝尔曼方程的马尔可夫随机逼近（SA）算法。
• 开发李雅普诺夫函数分析，推导在常数步长与递减步长下SA过程的均方误差边界。
• 建立收敛速率：常数步长下为几何收敛（精度为O(α log(1/α))），递减步长下为O(log(k)/k^ξ)。
• 将SA收敛框架应用于推导Q-learning、n步TD、TD(λ)和V-trace的有限样本边界。
• 利用李雅普诺夫分析，分离并量化截断水平（如V-trace中的c̄和ρ̄）在偏差与方差中的作用。
• 推导出显式依赖于γ、n、λ及截断参数的样本复杂度边界。

实验结果

研究问题

• RQ1 在常数步长与递减步长下，异步Q-learning的有限样本收敛行为如何？
• RQ2 V-trace中的截断水平c̄如何影响算法的方差与样本复杂度？
• RQ3 n-step TD学习中，使偏差与方差达到平衡的最优n值是多少？
• RQ4 TD(λ)中的λ参数如何在偏差（偏好大λ）与方差（偏好小λ）之间权衡？
• RQ5 是否可以使用统一的李雅普诺夫框架，为一大类异步强化学习算法推导有限样本边界？

主要发现

• 对于使用常数步长的异步Q-learning，样本复杂度为O(log²(1/ε)/(ε²(1−γ)⁵N_min³))，相比先前结果至少改进了|S||A|倍。
• V-trace算法的样本复杂度为O(ρ̄²(∑ᵢ₌₀ⁿ(γc̄)ⁱ)²)，表明c̄是方差减少的主要因素，且为避免指数爆炸，需满足c̄ ≤ 1/γ。
• 对于n-step TD，样本复杂度依赖于n/(1−γⁿ)²，意味着最优n约为min(1, 1/log(1/γ))。
• 在TD(λ)中，偏差衰减为(1−Θ(1/(1−βλ)))ᵏ（偏好大λ），而方差为Θ(1/[(1−βλ)log(1/(βλ))])（偏好小λ），从而量化了该权衡。
• 李雅普诺夫分析得到常数步长下的几何收敛与递减步长下的多项式衰减，且显式依赖于算法参数。
• 该框架首次为异步V-trace提供了有限样本收敛边界，解决了off-policy强化学习理论中的一个关键空白。