[论文解读] Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems

Sergey Levine, Aviral Kumar+2 more|arXiv (Cornell University)|May 4, 2020

Reinforcement Learning in Robotics参考文献 190被引用 791

一句话总结

本教程回顾离线强化学习（离线 RL / 批量 RL），概述其问题设定、挑战（尤其是使用深度函数近似时的分布偏移），并对方法与未解决问题进行综述。

ABSTRACT

In this tutorial article, we aim to provide the reader with the conceptual tools needed to get started on research on offline reinforcement learning algorithms: reinforcement learning algorithms that utilize previously collected data, without additional online data collection. Offline reinforcement learning algorithms hold tremendous promise for making it possible to turn large datasets into powerful decision making engines. Effective offline reinforcement learning methods would be able to extract policies with the maximum possible utility out of the available data, thereby allowing automation of a wide range of decision-making domains, from healthcare and education to robotics. However, the limitations of current algorithms make this difficult. We will aim to provide the reader with an understanding of these challenges, particularly in the context of modern deep reinforcement learning methods, and describe some potential solutions that have been explored in recent work to mitigate these challenges, along with recent applications, and a discussion of perspectives on open problems in the field.

研究动机与目标

• 解释离线强化学习问题及其动机。
• 在使用深度函数近似器从固定数据集学习时识别关键挑战。
• 在离线情境下综述算法族（策略梯度、Q-learning、actor-critic、基于模型的方法）。
• 讨论应用场景和未解决的问题，以指导未来研究。

提出的方法

• 将离线 RL 正规化为从行为策略收集的固定数据集中学习策略。
• 介绍标准的 RL 初等概念，包括马尔可夫决策过程（MDP）和部分可观测马尔可夫决策过程（POMDP）的定义。
• 描述并对比四大算法族：策略梯度、近似动态规划（Q-learning 与拟合 Q-迭代）、actor-critic 方法，以及基于模型的方法。
• 解释离线数据如何引发分布偏移，以及这如何影响收敛性与性能。
• 提供算法实现思路（例如带回放缓冲的 Q-learning；离线的 off-policy actor-critic）并讨论其离线适应。

实验结果

研究问题

• RQ1 从固定的离线数据集中学习最优策略的基本挑战是什么？
• RQ2 现有的 RL 方法需要如何调整以应对离线情境中的分布偏移？
• RQ3 在离线使用时，Q-learning、actor-critic 和基于模型的方法之间的关系与区别是什么？
• RQ4 哪些应用驱动离线 RL 的研究，尚存的未解决问题是什么？
• RQ5 离线 RL 如何惠及医疗、机器人和对话系统等领域？

主要发现

• 离线 RL 使从大规模预收集的数据集中学习策略成为可能，而无需在线交互，但在使用深度函数近似器时会面临分布偏移和外推误差。
• Q-learning、actor-critic 和基于模型的方法可以适应离线使用，但实际成功通常需要对固定数据分布进行缓解以适应。
• 混合方法（例如基于回放的 Q-learning、带固定缓冲区的离线 off-policy actor-critic）被讨论为实际基线，其局限性被强调。
• 本教程将标准的动态规划（DP）和策略梯度概念与离线情境联系起来，阐明收敛性特性和局限性。
• 在对话、机器人和导航中的应用展示了离线 RL 方法的潜力与当前局限。