[论文解读] An Optimistic Perspective on Offline Reinforcement Learning

Rishabh Agarwal, Dale Schuurmans+1 more|arXiv (Cornell University)|Jul 10, 2019

Reinforcement Learning in Robotics参考文献 46被引用 95

一句话总结

该论文表明，在大规模、多样化的 DQN 回放数据集上进行离线训练，能够使最近的离线策略评估 RL 算法超过最佳在线 DQN，并引入 Random Ensemble Mixture (REM) 以进一步提升离线性能。

ABSTRACT

Off-policy reinforcement learning (RL) using a fixed offline dataset of logged interactions is an important consideration in real world applications. This paper studies offline RL using the DQN replay dataset comprising the entire replay experience of a DQN agent on 60 Atari 2600 games. We demonstrate that recent off-policy deep RL algorithms, even when trained solely on this fixed dataset, outperform the fully trained DQN agent. To enhance generalization in the offline setting, we present Random Ensemble Mixture (REM), a robust Q-learning algorithm that enforces optimal Bellman consistency on random convex combinations of multiple Q-value estimates. Offline REM trained on the DQN replay dataset surpasses strong RL baselines. Ablation studies highlight the role of offline dataset size and diversity as well as the algorithm choice in our positive results. Overall, the results here present an optimistic view that robust RL algorithms trained on sufficiently large and diverse offline datasets can lead to high quality policies. The DQN replay dataset can serve as an offline RL benchmark and is open-sourced.

研究动机与目标

• 在现实世界问题中将离线RL作为对在线数据收集的实用替代方案的动机。
• 评估现代的 off-policy RL 方法在不进行分布不匹配校正的情况下，是否能从固定的、庞大的离线数据集中有效学习。
• 提出通过集成方法实现鲁棒离线学习，特别是 REM，以提升泛化能力。
• 在 Atari 2600 上使用 DQN Replay Dataset 对离线 RL 进行基准测试，以建立可重复的基线。

提出的方法

• 分析使用 DQN Replay Dataset 在 60 款 Atari 游戏上的离线 RL。
• 引入 Random Ensemble Mixture (REM)，一种在多个 Q 值头的随机凸组合上强制保持最优 Bellman 一致性的 Q-learning 变体。
• 使用多头 Q 网络，其中 REM 形成头部估计的凸组合来驱动学习。
• 将 REM 和 Ensemble-DQN 与离线 QR-DQN、C51 以及在线基线进行比较，以评估离线性能。
• 提供理论见解（命题 1），关于何时集成头收敛到最优 Q 函数。

实验结果

研究问题

• RQ1 在仅基于离线数据训练的情况下，标准的 off-policy 深度 RL 算法是否可以超越离线数据集中表现最好的策略？
• RQ2 像 REM 这样的鲁棒集成方法是否能提升离线泛化能力和在 Atari 2600 游戏上的表现？
• RQ3 离线数据集的大小和多样性如何影响离线RL方法的成功？
• RQ4 REM 是否在在线学习场景中也有效，与离线场景一样？
• RQ5 在离线的大规模 Atari 基准测试中，不同 RL 算法的选择有何差异？

主要发现

• 离线 QR-DQN 和 C51 相比离线 DQN 有所提升，但 REM 在离线设置中带来最强的提升。
• 在足够的梯度更新和多样化数据下，离线 REM 超过了来自完全训练的在线 C51 的收益。
• 在离线情形下，使用 Adam 的 DQN 将 QR-DQN 与在线 DQN 的性能差距缩小，而 REM 在渐近性能方面持续领先。
• 离线数据集的大小和多样性显著影响离线 RL 的成功，较大且更具多样性的数据集能够带来更好的泛化能力。
• REM 的随机集成训练充当了鲁棒的正则化器，使离线实验中在性能上超过简单的集成方法。