[论文解读] Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control

Shangtong Zhang, Osmar R. Zaı̈ane|arXiv (Cornell University)|Nov 30, 2017

Reinforcement Learning in Robotics参考文献 25被引用 9

一句话总结

本文对连续控制任务中的最先进深度强化学习（DRL）与进化策略（ES）方法进行了系统性、并行化的对比研究。评估了包括PPO、D3PG、CMA-ES、NEAT和NES在内的多种算法在多个环境中的表现，结果表明没有一种方法在所有任务中持续胜出——DRL在具有丰富动力学特性的任务中表现更优，而ES在复杂或稀疏奖励设置下展现出更优的探索能力与稳定性。

ABSTRACT

Reinforcement Learning and the Evolutionary Strategy are two major approaches in addressing complicated control problems. Both are strong contenders and have their own devotee communities. Both groups have been very active in developing new advances in their own domain and devising, in recent years, leading-edge techniques to address complex continuous control tasks. Here, in the context of Deep Reinforcement Learning, we formulate a parallelized version of the Proximal Policy Optimization method and a Deep Deterministic Policy Gradient method. Moreover, we conduct a thorough comparison between the state-of-the-art techniques in both camps fro continuous control; evolutionary methods and Deep Reinforcement Learning methods. The results show there is no consistent winner.

研究动机与目标

• 对最先进的深度强化学习与进化策略方法在连续控制任务中进行公平、并行化的基准测试。
• 从环境交互步数与实际运行时间两个维度评估算法性能，以衡量数据效率与计算速度。
• 探究不同动力学特性与复杂度的控制任务中，两种范式的优势与劣势。
• 分析DRL与ES在可扩展性与稳定性方面的差异，尤其关注网络规模与初始化敏感性的影响。
• 基于任务特性与资源约束，为DRL与ES的选择提供实证指导。

提出的方法

• 通过在多个进程间分布训练，实现了近端策略优化（PPO）与深度确定性策略梯度（DDPG）的并行化版本。
• 应用了包括CMA-ES、NEAT与自然进化策略（NES）在内的进化策略，所有方法均实现并行化，并使用神经网络作为函数逼近器。
• 采用统一的环境接口，确保所有算法之间的公平比较，保持一致的超参数与随机种子。
• 在连续控制任务（如Pendulum、Lunar Lander、Walker）中应用奖励塑造，以提升学习稳定性和性能。
• 通过环境时间步数与实际运行时间双重指标衡量性能，结果基于10次独立运行取平均并进行平滑处理以利于可视化。
• 通过在所有算法中测试小型与大型前馈神经网络，探究网络规模的影响。

实验结果

研究问题

• RQ1 在多样化的连续控制任务中，哪种方法——深度强化学习还是进化策略——能获得更优的最终性能？
• RQ2 在数据效率（环境交互步数）与计算效率（实际运行时间）方面，DRL与ES有何差异？
• RQ3 在哪些类型的控制任务中，每种方法展现出更优的稳定性与对初始化及随机性的鲁棒性？
• RQ4 网络规模如何影响DRL与进化方法的性能与可扩展性？
• RQ5 在何种场景下，探索能力使进化策略优于基于策略梯度的DRL方法？

主要发现

• 没有单一算法在所有任务中持续优于其他方法；性能高度依赖于任务特性。
• 进化方法（尤其是NEAT与CMA-ES）在Continuous Lunar Lander任务中优于DRL，表明其在稀疏奖励或具有欺骗性结构的环境中具备更优的探索能力。
• DRL方法（PPO、D3PG）在Pendulum与BipedalWalker任务中实现了更优的数据效率与更快的学习速度，表明其对丰富动力学特性的更强适应能力。
• DRL方法在训练结果上表现出更高的方差，而进化方法则展现出更强的稳定性与对初始化的鲁棒性。
• 进化方法对网络规模更敏感：在NES中，小型网络常优于大型网络，而DRL方法在模型容量增加时表现出更好的可扩展性。
• 在BipedalWalkerHardcore任务中，大多数DRL方法未能成功学习，而使用小型网络的NES实现了合理性能，凸显了ES在高维、复杂控制问题中的探索优势。