[论文解读] Asynchronous Advantage Actor Critic: Non-asymptotic Analysis and Linear Speedup

Han Shen, Kaiqing Zhang+2 more|arXiv (Cornell University)|May 4, 2021

Reinforcement Learning in Robotics参考文献 42被引用 6

一句话总结

本文提供了对使用线性价值函数近似的 A3C-TD(0) 算法的首个非渐近收敛性分析，证明在独立同分布采样下，其样本复杂度实现了线性加速——每个工作者的样本复杂度为 O(ϵ⁻².⁵/N)，这为异步演员-评论家强化学习中并行性和异步性的理论优势提供了支持。

ABSTRACT

Asynchronous and parallel implementation of standard reinforcement learning (RL) algorithms is a key enabler of the tremendous success of modern RL. Among many asynchronous RL algorithms, arguably the most popular and effective one is the asynchronous advantage actor-critic (A3C) algorithm. Although A3C is becoming the workhorse of RL, its theoretical properties are still not well-understood, including the non-asymptotic analysis and the performance gain of parallelism (a.k.a. speedup). This paper revisits the A3C algorithm with TD(0) for the critic update, termed A3C-TD(0), with provable convergence guarantees. With linear value function approximation for the TD update, the convergence of A3C-TD(0) is established under both i.i.d. and Markovian sampling. Under i.i.d. sampling, A3C-TD(0) obtains sample complexity of O(ϵ−2.5/N) per worker to achieve ϵ accuracy, where N is the number of workers. Compared to the best-known sample complexity of O(ϵ−2.5) for two-timescale AC, A3C-TD(0) achieves \emph{linear speedup}, which justifies the advantage of parallelism and asynchrony in AC algorithms theoretically for the first time. Numerical tests on synthetically generated instances and OpenAI Gym environments have been provided to verify our theoretical analysis.

研究动机与目标

• 提供 A3C 算法与评论家更新中使用 TD(0) 的非渐近收敛性分析。
• 为异步演员-评论家方法中并行性的性能提升提供理论保证。
• 在独立同分布和马尔可夫采样假设下，分析 A3C-TD(0) 的样本复杂度。
• 通过在合成环境和 OpenAI Gym 环境中的数值实验验证理论发现。

提出的方法

• 作者分析了 A3C-TD(0)，这是一种使用 TD(0) 进行价值函数更新的异步优势演员-评论家算法。
• 他们对评论家采用线性价值函数近似，以实现可处理的理论分析。
• 基于随机逼近理论，在独立同分布和马尔可夫采样假设下证明了收敛性。
• 分析推导出在独立同分布采样下，达到 ϵ-精度的样本复杂度为 O(ϵ⁻².⁵/N) 每个工作线程。
• 速度提升分析将 A3C-TD(0) 与两时间尺度演员-评论家方法进行比较，表明其与工作线程数量呈线性缩放。
• 在合成实例和 OpenAI Gym 环境中进行了数值实验，以验证理论预测。

实验结果

研究问题

• RQ1 A3C-TD(0) 在独立同分布采样下是否能以非渐近保证实现收敛？
• RQ2 A3C-TD(0) 的样本复杂度在精度 ϵ 和工作线程数 N 的表达下是什么？
• RQ3 与集中式两时间尺度演员-评论家方法相比，A3C-TD(0) 是否表现出线性加速？
• RQ4 A3C-TD(0) 在独立同分布采样与马尔可夫采样下的性能表现有何差异？
• RQ5 理论样本复杂度是否能在受控环境和真实世界环境中得到经验验证？

主要发现

• 在独立同分布采样下，A3C-TD(0) 每个工作线程的样本复杂度为 O(ϵ⁻².⁵/N)，可达到 ϵ-精度。
• 该样本复杂度表明存在线性加速，其与工作线程数 N 呈反比关系。
• 线性加速结果首次为异步演员-评论家算法中并行性的性能优势提供了理论依据。
• 收敛保证在独立同分布和马尔可夫采样下均成立，扩展了分析的适用范围。
• 在合成环境和 OpenAI Gym 环境中的数值结果证实了理论预测的样本效率与加速性能。