[论文解读] D4RL: Datasets for Deep Data-Driven Reinforcement Learning

Justin Fu, Aviral Kumar+3 more|arXiv (Cornell University)|Apr 15, 2020

Reinforcement Learning in Robotics参考文献 50被引用 331

一句话总结

D4RL 引入了一个全面的离线强化学习基准测试套件，包含各种任务和数据集，旨在反映现实世界数据属性，并配套标准化评估协议和开源实现。

ABSTRACT

The offline reinforcement learning (RL) setting (also known as full batch RL), where a policy is learned from a static dataset, is compelling as progress enables RL methods to take advantage of large, previously-collected datasets, much like how the rise of large datasets has fueled results in supervised learning. However, existing online RL benchmarks are not tailored towards the offline setting and existing offline RL benchmarks are restricted to data generated by partially-trained agents, making progress in offline RL difficult to measure. In this work, we introduce benchmarks specifically designed for the offline setting, guided by key properties of datasets relevant to real-world applications of offline RL. With a focus on dataset collection, examples of such properties include: datasets generated via hand-designed controllers and human demonstrators, multitask datasets where an agent performs different tasks in the same environment, and datasets collected with mixtures of policies. By moving beyond simple benchmark tasks and data collected by partially-trained RL agents, we reveal important and unappreciated deficiencies of existing algorithms. To facilitate research, we have released our benchmark tasks and datasets with a comprehensive evaluation of existing algorithms, an evaluation protocol, and open-source examples. This serves as a common starting point for the community to identify shortcomings in existing offline RL methods and a collaborative route for progress in this emerging area.

研究动机与目标

• 将离线强化学习作为 RL 与监督学习之间的桥梁，通过利用大规模、先前收集的数据来激励研究。
• 设计一个基准测试，反映现实世界数据收集挑战（如分布狭窄、示范数据、策略混合）。
• 提供标准化评估协议和开源参考，以实现可重复的离线 RL 研究。
• 覆盖多领域和难度，以区分算法在超越简单任务方面的表现。

提出的方法

• 提出跨域的离线任务和数据集，如 Maze2D、AntMaze、Gym-MuJoCo、Adroit、FrankaKitchen、Flow 和 CARLA，以在现实情境中测试离线 RL。
• 表征数据收集属性，如非马尔可夫行为、稀疏奖励、无向数据以及策略混合，以对离线 RL 算法施压。
• 通过使用随机基线和专家基线的统一评分标准来规范化性能，以实现跨任务比较。
• 在所提任务上对前沿的离线 RL 算法和基线进行基准测试，以识别优点与局限。
• 发布开源 API、数据集和参考实现，以促进社区采用与可重复性。）

实验结果

研究问题

• RQ1 当前的离线 RL 方法在反映现实世界数据收集（如示范数据、策略混合、非马尔可夫数据）的多样数据集上如何表现？
• RQ2 哪些数据属性对离线 RL 算法挑战最大，以及哪些方法应对最好（如保守方法与基于模仿学习的基线）？
• RQ3 策略混合或无向数据是否会降低离线 RL 的表现，现有方法能否应对此类分布？
• RQ4 在固定数据下，离线 RL 是否在稀疏奖励或高探索的领域比在线基线具有优势？

主要发现

• 离线 RL 算法在不同任务上的表现各异，在无向数据和混合策略数据上差距更大。
• 保守方法（如 BEAR、AWR、CQL、BCQ）在 Flow 和 Gym-MuJoCo 领域对有偏向和狭窄数据分布处理良好。
• 具有非马尔可夫数据、拼接需求或高观测复杂性的任务（如 Maze2D、AntMaze、CARLA）仍然具有挑战性。
• 在某些稀疏奖励领域，离线 RL 方法可以超越在线 SAC，凸显离线解决探索挑战的潜力。
• 将专家数据与次优数据混合的数据集揭示许多算法未能充分利用混合质量数据，强调需要提高样本效率和数据驱动正则化。
• 该基准揭示了现有算法在超越简单任务方面的不足，为未来的离线 RL 研究指明方向。