[论文解读] Challenges and Opportunities in Offline Reinforcement Learning from Visual Observations

Cong Lu, Philip Ball+4 more|arXiv (Cornell University)|Jun 9, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了 v-d4rl，一个基于 DMControl Suite 的视觉观测离线强化学习基准测试套件，支持算法的标准化评估。通过将 DreamerV2 和 DrQ-v2 适配为离线基线方法，作者在视觉连续控制任务上展示了优异性能，揭示了泛化到未见动力学和可扩展性等关键挑战，同时开源了代码和数据，以加速真实世界强化学习应用的研究进展。

ABSTRACT

Offline reinforcement learning has shown great promise in leveraging large pre-collected datasets for policy learning, allowing agents to forgo often-expensive online data collection. However, offline reinforcement learning from visual observations with continuous action spaces remains under-explored, with a limited understanding of the key challenges in this complex domain. In this paper, we establish simple baselines for continuous control in the visual domain and introduce a suite of benchmarking tasks for offline reinforcement learning from visual observations designed to better represent the data distributions present in real-world offline RL problems and guided by a set of desiderata for offline RL from visual observations, including robustness to visual distractions and visually identifiable changes in dynamics. Using this suite of benchmarking tasks, we show that simple modifications to two popular vision-based online reinforcement learning algorithms, DreamerV2 and DrQ-v2, suffice to outperform existing offline RL methods and establish competitive baselines for continuous control in the visual domain. We rigorously evaluate these algorithms and perform an empirical evaluation of the differences between state-of-the-art model-based and model-free offline RL methods for continuous control from visual observations. All code and data used in this evaluation are open-sourced to facilitate progress in this domain.

研究动机与目标

• 解决视觉观测下连续控制任务中离线强化学习缺乏标准化基准的问题。
• 建立一个全面的基准测试套件（v-d4rl），反映真实世界的数据分布，包括多样化的行为策略和视觉干扰。
• 评估基于模型和无模型的离线强化学习方法在视觉观测下的表现，重点关注鲁棒性、泛化能力和可扩展性。
• 识别当前方法中的关键失败模式和开放性问题，特别是对未见动力学的泛化能力以及基于模型方法的可扩展性问题。
• 提供开源代码和数据集，以支持可复现的、社区驱动的视觉离线强化学习研究进展。

提出的方法

• 基于 DMControl Suite 设计 v-d4rl 基准测试套件，整合多种行为策略（随机、中等、专家）和视觉模态。
• 通过修改其训练流程，将两种最先进的在线强化学习算法——DreamerV2（基于模型）和 DrQ-v2（无模型）——改造成离线变体，以使用离线数据集进行训练。
• 引入一套与三大核心理想特性一致的评估协议：对视觉干扰的鲁棒性、跨动力学的泛化能力，以及在大规模数据下的性能提升。
• 实现行为克隆基线方法（DrQ+BC），用于与基于强化学习的方法对比，并评估数据效率。
• 使用视觉编码器（如 ResNet）处理原始像素，实现从视觉观测端到端的学习，无需接触本体状态信息。
• 在不同规模的数据集上训练和评估模型，以分析可扩展性和收益递减现象，采用标准指标如回报和成功率。

实验结果

研究问题

• RQ1 当在多样化行为策略上进行训练时，基于模型和无模型的离线强化学习方法在视觉连续控制任务上的表现如何？
• RQ2 离线强化学习算法在训练数据集中未出现的未见动力学上，其泛化能力达到何种程度？
• RQ3 随着数据集规模的增加，性能如何变化？收益递减现象在何处出现？
• RQ4 当前离线强化学习方法在面对视觉干扰或分布偏移时，其关键失败模式是什么？
• RQ5 对在线强化学习算法进行简单适配后，是否能在视觉观测设置下超越现有专用的离线强化学习方法？

主要发现

• 将 DreamerV2 和 DrQ-v2 简单适配为离线设置后，在视觉连续控制任务上表现优于现有离线强化学习方法，确立了强有力的基线性能。
• 离线版 DreamerV2 在 walker-walk 随机数据集上仅使用专家演示数据量的 10% 即可达到约 500 的回报，展现出强大的数据效率。
• DrQ+BC 的可扩展性优于离线版 DreamerV2，在 8 小时内完成 500,000 次观测的训练（而离线版 DreamerV2 在 100,000 次观测下耗时 10 小时），凸显无模型方法在计算效率上的优势。
• 性能随数据集规模增加而单调提升，但在原始数据集规模的 2 倍以上时出现收益递减，表明性能趋于平台期。
• 当数据规模扩大时，离线版 DreamerV2 和 DrQ+BC 分别实现平均 42.1% 和 32.5% 的性能增益，而行为克隆仅提升 10.8%。
• 当泛化到未见动力学时，离线版 DreamerV2 和 DrQ+BC 均表现出显著性能下降，表明视觉离线强化学习中泛化能力仍是关键开放挑战。