[论文解读] An Efficient Asynchronous Method for Integrating Evolutionary and Gradient-based Policy Search

Kyunghyun Lee, Byeong-Uk Lee+2 more|arXiv (Cornell University)|Dec 10, 2020

Evolutionary Algorithms and Applications被引用 6

一句话总结

该论文提出了一种异步进化策略-强化学习框架（AES-RL），结合了深度强化学习（DRL）的样本效率与进化策略（ES）的稳定性和探索优势。通过在多个工作者之间采用异步更新，AES-RL将训练时间最多减少75%，并在MuJoCo连续控制基准测试中实现比先前方法高20%的性能。

ABSTRACT

Deep reinforcement learning (DRL) algorithms and evolution strategies (ES) have been applied to various tasks, showing excellent performances. These have the opposite properties, with DRL having good sample efficiency and poor stability, while ES being vice versa. Recently, there have been attempts to combine these algorithms, but these methods fully rely on synchronous update scheme, making it not ideal to maximize the benefits of the parallelism in ES. To solve this challenge, asynchronous update scheme was introduced, which is capable of good time-efficiency and diverse policy exploration. In this paper, we introduce an Asynchronous Evolution Strategy-Reinforcement Learning (AES-RL) that maximizes the parallel efficiency of ES and integrates it with policy gradient methods. Specifically, we propose 1) a novel framework to merge ES and DRL asynchronously and 2) various asynchronous update methods that can take all advantages of asynchronism, ES, and DRL, which are exploration and time efficiency, stability, and sample efficiency, respectively. The proposed framework and update methods are evaluated in continuous control benchmark work, showing superior performance as well as time efficiency compared to the previous methods.

研究动机与目标

• 解决同步进化强化学习（ERL）方法存在的训练时间低效和可扩展性有限的问题。
• 通过引入异步更新机制，利用进化策略（ES）的并行性，消除空闲等待时间。
• 将基于梯度的DRL与ES结合，融合DRL的样本效率与ES的稳定性/探索能力。
• 设计并评估用于种群均值和方差的新型异步更新规则，以提升收敛性和多样性。
• 在标准MuJoCo基准测试中，与现有ERL和DRL基线相比，展示出更优的时间效率和样本效率。

提出的方法

• 设计一种新颖的异步框架，将策略评估与种群更新解耦，支持工作者独立执行。
• 实现种群分布（均值与协方差）的异步更新规则，包括完整更新与部分更新策略。
• 通过定期将DRL训练的策略注入ES种群，实现DRL算法（如TD3、SAC）与ES的集成。
• 采用异步通信机制，使每个工作者在完成当前回合后立即开始下一回合，避免同步瓶颈。
• 采用混合更新机制，使ES与DRL的梯度共同指导种群分布的更新，提升探索与收敛能力。
• 采用滚动种群机制，仅使用表现最佳的策略来更新分布，确保稳定性和效率。

实验结果

研究问题

• RQ1 与同步方法相比，基于进化策略的策略搜索中采用异步更新是否能显著减少实际训练时间？
• RQ2 通过异步更新将基于梯度的DRL与ES结合，对策略性能和样本效率有何影响？
• RQ3 在混合ES-DRL训练中，不同异步更新规则（如完整更新与部分更新）对种群均值和方差的相对优势是什么？
• RQ4 所提出的框架是否能在连续控制环境中保持稳定性，同时提升探索能力和收敛速度？
• RQ5 在最终性能和训练效率方面，异步集成ES与DRL在多大程度上优于现有的ERL和DRL基线？

主要发现

• 在相同硬件配置下，AES-RL相比同步ERL方法，将总训练时间最多减少75%。
• 在相同时间预算下，AES-RL在Walker2D-v2环境中的平均回报相比基线CEM-RL高出20%。
• 在六项MuJoCo基准测试中的五项中，AES-RL优于TD3、SAC、CEM、ERL和CEM-RL，且在样本效率和收敛速度方面均表现出一致的提升。
• 在Swimmer-v2等具有挑战性的环境中，AES-RL的表现优于CEM-RL和TD3，实现了两次成功试验，并在失败尝试中获得显著更高的得分。
• 异步更新机制实现了更频繁且多样的策略更新，增强了探索能力，并降低了对超参数的敏感性。
• 所提出的均值与方差异步更新规则——尤其是部分更新策略——相比完整更新变体，展现出更优的稳定性和收敛性。