[论文解读] Benchmarking Deep Reinforcement Learning for Continuous Control

Yan Duan, Xi Chen+3 more|arXiv (Cornell University)|Apr 22, 2016

Reinforcement Learning in Robotics参考文献 64被引用 966

一句话总结

本文提出了一个涵盖31个连续控制任务的综合基准，并系统地评估了一组深度强化学习算法，强调 TNPG、TRPO 和 DDPG 在许多任务上表现有效，同时指出分层任务的挑战。

ABSTRACT

Recently, researchers have made significant progress combining the advances in deep learning for learning feature representations with reinforcement learning. Some notable examples include training agents to play Atari games based on raw pixel data and to acquire advanced manipulation skills using raw sensory inputs. However, it has been difficult to quantify progress in the domain of continuous control due to the lack of a commonly adopted benchmark. In this work, we present a benchmark suite of continuous control tasks, including classic tasks like cart-pole swing-up, tasks with very high state and action dimensionality such as 3D humanoid locomotion, tasks with partial observations, and tasks with hierarchical structure. We report novel findings based on the systematic evaluation of a range of implemented reinforcement learning algorithms. Both the benchmark and reference implementations are released at https://github.com/rllab/rllab in order to facilitate experimental reproducibility and to encourage adoption by other researchers.

研究动机与目标

• 提出需要一个标准化、具有挑战性的连续控制基准，以量化深度强化学习的进展。
• 提供覆盖基础任务、运动控制、部分可观测性和分层结构的多样化任务集合，这些任务在物理仿真器中实现。
• 在深度神经网络策略上评估一系列基于梯度和非梯度的算法，以识别优点与局限。

提出的方法

• 在需要时将有限时限折扣MDP定义扩展到部分可观测马尔可夫决策过程（POMDP）。
• 使用 Box2D 和 MuJoCo 仿真器实现四类共31个连续控制任务。
• 对一组基于梯度的方法（REINFORCE、TNPG、TRPO、RWR、REPS）和非梯度的方法（CEM、CMA-ES）进行基准测试，并加入用于在线学习的 DDPG。
• 对基础/运动/分层任务使用前馈神经网络策略；对部分可观测任务使用循环神经网络策略，并采用标准基线以降低方差。
• 使用多个随机种子进行评估；对大多数算法进行网格搜索超参数，并报告均值性能及标准差。

实验结果

研究问题

• RQ1 不同强化学习算法在广泛的连续控制任务中表现如何？
• RQ2 在连续控制中，基于批量的梯度方法与像 DDPG 这样的在线方法相比的相对优缺点是什么？
• RQ3 循环式策略在部分可观测环境中是否具有优势，它们与基于梯度的和非梯度优化之间有何互动？
• RQ4 分层任务是否暴露出当前算法的不足，需要新的方法来利用结构？

主要发现

• TNPG 和 TRPO 通常通过策略分布约束提供稳定学习，在批量算法中通常优于其他方法。
• REINFORCE 在基础和运动任务上可能有效，但在某些任务上可能过早收敛到局部最优。
• RWR 在某些基础任务上无需超参数调整即可解决，但在运动任务上表现不佳。
• DDPG 在某些任务（如 Half-Cheetah）上收敛更快，但存在稳定性问题和奖励缩放敏感性。
• 大多数算法在分层任务上表现差，表明需要能够自动发现并利用分层结构的方法。
• CEM 在简单任务上表现出色，但在高维和复杂动力学下表现下降；CMA-ES 在高维任务上可能因内存限制而失败。