[论文解读] A Finite Time Analysis of Two Time-Scale Actor Critic Methods

Yue Wu, Weitong Zhang+2 more|arXiv (Cornell University)|May 4, 2020

Reinforcement Learning in Robotics参考文献 38被引用 37

一句话总结

论文提供了带马尔可夫样本的两时间尺度 actor-critic 方法的第一份非渐近分析，证明收敛到一个近似驻点，并给出一个 0a0icient 0a0sample complexity of 0e( epsilon^{-2.5}) 用于找到一个 0b0-stationary 点。

ABSTRACT

Actor-critic (AC) methods have exhibited great empirical success compared with other reinforcement learning algorithms, where the actor uses the policy gradient to improve the learning policy and the critic uses temporal difference learning to estimate the policy gradient. Under the two time-scale learning rate schedule, the asymptotic convergence of AC has been well studied in the literature. However, the non-asymptotic convergence and finite sample complexity of actor-critic methods are largely open. In this work, we provide a non-asymptotic analysis for two time-scale actor-critic methods under non-i.i.d. setting. We prove that the actor-critic method is guaranteed to find a first-order stationary point (i.e., $\| abla J(\boldsymbolθ)\|_2^2 \le ε$) of the non-concave performance function $J(\boldsymbolθ)$, with $\mathcal{ ilde{O}}(ε^{-2.5})$ sample complexity. To the best of our knowledge, this is the first work providing finite-time analysis and sample complexity bound for two time-scale actor-critic methods.

研究动机与目标

• 研究两时间尺度 actor-critic（AC）算法在非独立同分布数据下的有限时间收敛性动机。
• 为带线性 TD(0) critic 的在线单步 AC 方法提供非渐近收敛性保证。
• 表征在马尔可夫噪声下 actor 与 critic 更新之间的相互作用。
• 推导达到一阶驻点所需的样本复杂度和收敛速度。
• 突出所提出的分析如何优于解耦或假设独立同分布的设置。

提出的方法

• 分析经典的两时间尺度 actor-critic 算法，带 TD(0) critic 和线性函数近似。
• 假设特征范数有界，并给出 TD(0) 的极限点 (c1) 的矩阵  和向量 。
• 在非独立同分布的马尔可夫样本下，证明 actor 的收敛，步长为 ant t 且 et a t，满足 0<c1<1，0<nu<cs<1。
• 通过假设 4.1-4.3 与命题 4.4，Show critic 解 (c1) 相对于策略参数的 Lipschitz 连续性。
• 推导整体收敛速率 ￡ 在近似误差 pp 与优化误差项方面，得到 ￡ = (pp) + O(t^{-(1-c)}) + O(( log t)/t^{2}) + O((t))。
• 得出达到 ps-stationary 点的总样本复杂度为 ￡ = ￡(pp) + e(b5^{-2.5})，在选取 s 和 t 的条件下。

实验结果

研究问题

• RQ1 两时间尺度的 actor-critic 方法在非独立同分布（马尔可夫）样本且线性函数近似下能否实现非渐近收敛？
• RQ2 在非凸性能函数 J(m btheta) 下，达到 ps-stationary 点的有限样本复杂度是多少？
• RQ3 actor 和 critic 的步长如何影响收敛速率和总体样本复杂度？
• RQ4 分析与解耦 actor-critic 和假设独立同分布的结果相比如何？
• RQ5 该框架是否能推广到替代的策略评估方案和非线性近似器？

主要发现

• 该 actor-critic 方法收敛到 J 的 ps-近似驻点，且 ￡(ps) = ￡(pp) + O(t^{-(1-c)}) + O((log t)/t^{}) + O((t))。
• 当 actor 的步长为 s = O(1/t^{3/5})，critic 的步长为 t = O(1/t^{2/5}) 时，方法在 T = ￡(ps) 次迭代内达到 ps-驻点；每次迭代的样本数为 1。
• 整体（有限时间）样本复杂度为 ￡ = ￡(pp) + ilde{O}(ps^{-2.5})。
• 分析处理马尔可夫噪声，与一些先前工作不同，不再需要独立同分布的数据假设。
• 作者提出一个新的证明框架，严格界定 critic 估计误差并避免某些迭代细化方法中出现的额外人为因子。
• 与解耦的 actor-critic 方法相比，两时间尺度方法在样本效率方面更高，达到 ￡ = ilde{O}(ps^{-2.5})，而在某些解耦分析中为 ￡ = ilde{O}(ps^{-4})。