[论文解读] IMPACT: Importance Weighted Asynchronous Architectures with Clipped Target Networks

Michael Luo, Jiahao Yao+3 more|arXiv (Cornell University)|Nov 30, 2019

Reinforcement Learning in Robotics参考文献 15被引用 8

一句话总结

IMPACT 提出了一种分布式强化学习算法，结合重要性加权的异步经验收集与裁剪目标网络，以稳定训练并实现每批次多次SGD步骤，相较于IMPALA训练速度提升高达30%，同时在离散与连续控制环境中保持PPO级别的样本效率。

ABSTRACT

The practical usage of reinforcement learning agents is often bottlenecked by the duration of training time. To accelerate training, practitioners often turn to distributed reinforcement learning architectures to parallelize and accelerate the training process. However, modern methods for scalable reinforcement learning (RL) often tradeoff between the throughput of samples that an RL agent can learn from (sample throughput) and the quality of learning from each sample (sample efficiency). In these scalable RL architectures, as one increases sample throughput (i.e. increasing parallelization in IMPALA), sample efficiency drops significantly. To address this, we propose a new distributed reinforcement learning algorithm, IMPACT. IMPACT extends IMPALA with three changes: a target network for stabilizing the surrogate objective, a circular buffer, and truncated importance sampling. In discrete action-space environments, we show that IMPACT attains higher reward and, simultaneously, achieves up to 30% decrease in training wall-time than that of IMPALA. For continuous control environments, IMPACT trains faster than existing scalable agents while preserving the sample efficiency of synchronous PPO.

研究动机与目标

• 解决分布式强化学习中样本吞吐量与样本效率之间的权衡问题。
• 在策略更新未同步的异步训练环境中，稳定PPO代理目标函数。
• 在异步架构中实现每批次多次SGD步骤，而不降低学习稳定性或样本效率。
• 在保持离散与连续控制任务中同步PPO样本效率的同时，提升实时训练效率。

提出的方法

• 引入目标网络以在异步训练中稳定PPO代理目标函数，创建一个信任区域以防止策略发生大幅更新。
• 使用循环缓冲区存储异步收集的经验，实现受控回放，并在实时性能与样本效率之间取得平衡。
• 应用截断重要性采样以校正离策略更新中的分布偏移，提升学习稳定性。
• 通过利用目标网络提供的稳定目标函数，使学习器在每批次中可执行多次SGD步骤。
• 整合目标网络以计算优势和价值估计，将策略评估与主策略更新解耦。
• 设计学习器从循环缓冲区采样，实现高效且稳定的延迟经验训练。

实验结果

研究问题

• RQ1 在异步分布式强化学习设置中，能否维持一个稳定的代理目标函数，以支持每批次多次SGD步骤？
• RQ2 循环缓冲区的使用在实时吞吐量与样本效率之间产生何种影响？
• RQ3 重要性加权的裁剪目标网络在不牺牲样本效率的前提下，能在多大程度上提升训练速度？
• RQ4 在多样化环境中，IMPACT与PPO及IMPALA相比，在训练耗时与样本效率方面表现如何？
• RQ5 在离散与连续控制任务中，何种超参数设置（如缓冲区大小、回放长度）能实现最优性能？

主要发现

• 在离散控制环境中，IMPACT相比IMPALA将训练耗时减少高达30%，同时保持或提升了样本效率。
• 在连续控制任务（Hopper、Humanoid、HalfCheetah）中，IMPACT的训练速度优于现有可扩展智能体，并与同步PPO的样本效率相当。
• 对于连续控制任务，使用N=16和K=20的循环缓冲区可实现稳健性能，平衡了回放优势与吞吐量。
• 对于离散控制任务，N=1和K=2可获得最优结果，表明在这些设置中，新鲜经验比重放经验更具价值。
• IMPACT在增加工作节点数量时表现出良好可扩展性，但随着工作节点数增加，性能增益逐渐减少，呈现收益递减趋势。
• 消融实验表明，目标网络与重要性加权在异步设置中对稳定且高效的训练至关重要。