[论文解读] Efficient Online Reinforcement Learning with Offline Data

Philip Ball, Laura Smith+2 more|arXiv (Cornell University)|Feb 6, 2023

Reinforcement Learning in Robotics被引用 13

一句话总结

该论文表明，标准的 off-policy RL 可以在极少改动的情况下有效地利用离线数据进行在线学习，提出 RLPD (Reinforcement Learning with Prior Data)，通过对称采样、LayerNorm 和集成在多样化任务中实现强劲性能。

ABSTRACT

Sample efficiency and exploration remain major challenges in online reinforcement learning (RL). A powerful approach that can be applied to address these issues is the inclusion of offline data, such as prior trajectories from a human expert or a sub-optimal exploration policy. Previous methods have relied on extensive modifications and additional complexity to ensure the effective use of this data. Instead, we ask: can we simply apply existing off-policy methods to leverage offline data when learning online? In this work, we demonstrate that the answer is yes; however, a set of minimal but important changes to existing off-policy RL algorithms are required to achieve reliable performance. We extensively ablate these design choices, demonstrating the key factors that most affect performance, and arrive at a set of recommendations that practitioners can readily apply, whether their data comprise a small number of expert demonstrations or large volumes of sub-optimal trajectories. We see that correct application of these simple recommendations can provide a $\mathbf{2.5 imes}$ improvement over existing approaches across a diverse set of competitive benchmarks, with no additional computational overhead. We have released our code at https://github.com/ikostrikov/rlpd.

研究动机与目标

• 通过利用已收集的离线数据来提高在线 RL 的样本效率和探索性。
• 证明简单、最小化设计选择即可在没有离线预训练的情况下实现强性能。
• 提供一个实用工作流和消融实验，帮助从业者在不同领域应用离线数据。

提出的方法

• 引入对称采样，将在线数据和离线数据结合而无需额外超参数。
• 在评论者中使用 Layer Normalization，以限制 Q 值外推并稳定训练过程。
• 使用大规模的 Q 函数集合（及 TD 备份）以提高样本效率。
• 在离线转移上利用在线 Bellman 备份以在缺乏预训练或模仿项的情况下加速学习。
• 可选地包含熵备份和随机集成蒸馏以在稀疏奖励下稳定学习。
• 提供面向环境的设计指南和应用 RLPD 的务实工作流，覆盖不同领域。

实验结果

研究问题

• RQ1 现有的 off-policy RL 算法是否能够在不进行离线预训练的情况下有效地使用离线数据进行在线学习？
• RQ2 为了使在线 RL 在离线数据条件下可靠且具有较好样本效率，需要哪些简单的设计选择？
• RQ3 在这种 setting 中 LayerNorm 如何影响值的外推和训练稳定性？
• RQ4 大型集成和对称数据采样是否能在多样化的离线数据集和任务中泛化？
• RQ5 提出的工作流在不同环境（包括基于像素的观测）下是否鲁棒？

主要发现

• RLPD 在 Adroit、AntMaze 和 Locomotion 基准的 21 个任务上达到或超越先前的 state-of-the-art。
• 对称采样（50/50 在线/离线）在没有超参数调优的情况下提供了强劲的性能。
• 评论者中的 LayerNorm 显著降低了值的过度外推并稳定了训练，尤其是在离线数据有限的情况下。
• 大型集成和 TD 备份在样本效率方面有显著提升，特别是在稀疏奖励设置和像素基任务中。
• 具有面向环境的设计选择的实用工作流在多样领域获得了可靠的性能提升。