[论文解读] DeepMind Control Suite

Yuval Tassa, Yotam Doron+10 more|arXiv (Cornell University)|Jan 2, 2018

Reinforcement Learning in Robotics参考文献 7被引用 521

一句话总结

论文介绍了 DeepMind Control Suite，一组建立在 MuJoCo 上的连续控制任务，具有标准化接口和可解释的奖励，并在状态基和像素观测下呈现基线基准（A3C、DDPG、D4PG）。

ABSTRACT

The DeepMind Control Suite is a set of continuous control tasks with a standardised structure and interpretable rewards, intended to serve as performance benchmarks for reinforcement learning agents. The tasks are written in Python and powered by the MuJoCo physics engine, making them easy to use and modify. We include benchmarks for several learning algorithms. The Control Suite is publicly available at https://www.github.com/deepmind/dm_control . A video summary of all tasks is available at http://youtu.be/rAai4QzcYbs .

研究动机与目标

• 为强化学习中的连续控制提供一个标准化、可解释的基准套件。
• 确保物理稳定性、可解性，以及任务的可扩展性，超越现有 Gym/ALE 的工作负载。
• 提供统一的 API，便于在代理和任务之间进行基准测试和比较。
• 展示在特征基和像素基观测上的既定强化学习方法的基线表现。

提出的方法

• 定义一组具有一致观测、动作和奖励结构的连续控制领域。
• 使用 MuJoCo 进行物理仿真，使用 Python 便于任务修改和扩展。
• 建立验证实践，确保物理稳定性和不可作弊的任务设计。
• 提供带有 environment.Base 和 suite.load 的强化学习 API，以实现对统一任务的访问。
• 对三种算法（A3C、DDPG、D4PG）在状态特征与像素输入变体上进行基准测试，采用标准化评估协议。
• 描述数据收集与训练配置，包括网络架构和超参数，以便复现。

实验结果

研究问题

• RQ1 标准化的连续控制任务套件如何促进对强化学习代理的公平基准测试？
• RQ2 在控制套件中，A3C、DDPG 和 D4PG 在基于状态和基于像素的观测上的基线性能是多少？
• RQ3 奖励、时间步长和折扣选择如何影响连续控制基准中的学习曲线和可解释性？
• RQ4 套件的设计是否能够防止利用物理不稳定性进行作弊，并确保任务可被学习代理解决？

主要发现

• D4PG 在各指标和任务中表现最佳，DDPG 在达到1e7个环境步骤之前数据效率更高（基于汇总结果）。
• 该套件为状态派生特征和原始像素输入提供基线结果，并在 A3C、DDPG 和 D4PG 之间进行比较。
• 学习曲线和汇总度量设计为在不同任务和种子之间具有可解释性和标准化。
• 基准测试结果包含多个种子，并报告任务层级变异性的中位数性能以及第5到第95百分位区间。
• 作者通过多代理测试和迭代直至可解性，强调任务的稳定性和不可作弊的设计。