[论文解读] Datasets for Data-Driven Reinforcement Learning

Justin Fu, Aviral Kumar+3 more|arXiv (Cornell University)|Apr 15, 2020

Reinforcement Learning in Robotics参考文献 11被引用 3

一句话总结

本文提出了一种新的离线强化学习基准测试套件，其设计基于现实数据集的特性，如人类和手工设计控制器的示范、多任务数据以及混合策略数据集。通过超越部分训练智能体生成的数据，该基准测试揭示了现有离线强化学习算法中的关键缺陷，并提供了开源工具支持的标准化评估框架，以加速该领域的发展。

ABSTRACT

The offline reinforcement learning (RL) setting (also known as full batch RL), where a policy is learned from a static dataset, is compelling as progress enables RL methods to take advantage of large, previously-collected datasets, much like how the rise of large datasets has fueled results in supervised learning. However, existing online RL benchmarks are not tailored towards the offline setting and existing offline RL benchmarks are restricted to data generated by partially-trained agents, making progress in offline RL difficult to measure. In this work, we introduce benchmarks specifically designed for the offline setting, guided by key properties of datasets relevant to real-world applications of offline RL. With a focus on dataset collection, examples of such properties include: datasets generated via hand-designed controllers and human demonstrators, multitask datasets where an agent performs different tasks in the same environment, and datasets collected with mixtures of policies. By moving beyond simple benchmark tasks and data collected by partially-trained RL agents, we reveal important and unappreciated deficiencies of existing algorithms. To facilitate research, we have released our benchmark tasks and datasets with a comprehensive evaluation of existing algorithms, an evaluation protocol, and open-source examples. This serves as a common starting point for the community to identify shortcomings in existing offline RL methods and a collaborative route for progress in this emerging area.

研究动机与目标

• 解决离线强化学习缺乏反映现实世界数据采集场景的现实、标准化基准的问题。
• 通过使用人类示范者、手工设计控制器和混合策略生成的数据集，识别并暴露现有离线强化学习算法中未被充分认识的缺陷。
• 提供一个全面的开源基准测试，包含评估协议、数据集和代码示例，作为研究社区的共同基础。
• 通过超越简单任务和部分训练智能体的数据，实现离线强化学习算法的公平且可复现的评估。
• 通过建立一个反映实际数据分布特征的共享基准，促进离线强化学习领域的协作性进展。

提出的方法

• 设计模拟真实世界环境的基准任务，采用多样化数据采集方法，包括人类示范和手工编码控制器。
• 创建多任务数据集，使单个环境支持多个不同的任务，以评估泛化能力和迁移能力。
• 通过混合多种策略（包括专家行为和次优行为）构建数据集，以反映现实世界的数据分布。
• 开发标准化的评估协议，确保在相同数据集和任务配置下对不同算法进行一致比较。
• 发布完整的基准测试套件，包括数据集、评估代码和基线实现，以确保可复现性和社区采纳。
• 聚焦于现实世界部署相关的数据集特性，如分布偏移和任务多样性，以更好地反映实际挑战。

实验结果

研究问题

• RQ1 当在人类示范者或手工设计控制器收集的数据集上进行评估时，现有离线强化学习算法的表现如何，而非基于部分训练智能体的数据？
• RQ2 当在多任务数据集上训练时，当前算法在跨多个任务上的泛化能力达到何种程度？
• RQ3 包含专家行为和次优行为的混合策略数据集在多大程度上影响离线强化学习算法的性能和鲁棒性？
• RQ4 在离线强化学习设置中，使用真实、非合成数据集时，现有算法的哪些缺陷被暴露出来？
• RQ5 一个具有多样化数据集特性的标准化基准是否能提升离线强化学习研究的可复现性和可比性？

主要发现

• 当在人类示范者或手工设计控制器收集的数据集上评估时，现有离线强化学习算法表现出显著的性能下降，表明其对现实世界数据分布的鲁棒性不足。
• 在多任务数据集上训练的算法在任务间表现出有限的泛化能力，暴露出零样本迁移能力的不足。
• 混合策略数据集暴露了算法的不稳定性与过拟合问题，尤其当次优行为主导数据分布时更为明显。
• 该基准测试表明，当前方法在不同数据采集策略之间无法有效泛化，凸显了对更鲁棒的离线强化学习算法的迫切需求。
• 标准化评估协议实现了稳定且可复现的比较，揭示了以往基准测试实践中存在的不一致性和偏差。
• 开源的基准测试框架促进了社区范围内的评估，以及对离线强化学习方法的协作式改进。