[论文解读] A Survey on Offline Reinforcement Learning: Taxonomy, Review, and Open Problems

Rafael Figueiredo Prudencio, Marcos R. O. A. Máximo+1 more|arXiv (Cornell University)|Mar 2, 2022

Reinforcement Learning in Robotics被引用 31

一句话总结

一份全面综述，提出一个统一的离线强化学习方法分类法，评述统一记号下的算法方法，讨论数据集和基准测试，评估方法性能，并概述未解决的问题与未来方向。

ABSTRACT

With the widespread adoption of deep learning, reinforcement learning (RL) has experienced a dramatic increase in popularity, scaling to previously intractable problems, such as playing complex games from pixel observations, sustaining conversations with humans, and controlling robotic agents. However, there is still a wide range of domains inaccessible to RL due to the high cost and danger of interacting with the environment. Offline RL is a paradigm that learns exclusively from static datasets of previously collected interactions, making it feasible to extract policies from large and diverse training datasets. Effective offline RL algorithms have a much wider range of applications than online RL, being particularly appealing for real-world applications, such as education, healthcare, and robotics. In this work, we contribute with a unifying taxonomy to classify offline RL methods. Furthermore, we provide a comprehensive review of the latest algorithmic breakthroughs in the field using a unified notation as well as a review of existing benchmarks' properties and shortcomings. Additionally, we provide a figure that summarizes the performance of each method and class of methods on different dataset properties, equipping researchers with the tools to decide which type of algorithm is best suited for the problem at hand and identify which classes of algorithms look the most promising. Finally, we provide our perspective on open problems and propose future research directions for this rapidly growing field.

研究动机与目标

• 引入一个统一的分类法来对离线RL方法进行分类，并阐明各组成部分如何组合成完整的算法。
• 提供一个全面且记号一致的对现阶段离线RL方法的综述，覆盖各类方法（基于模型、一步法、模仿学习）。
• 评估并批评现有的离线RL基准/数据集，讨论它们的理想属性与不足。
• 给出方法在不同数据集属性下的性能概览，以指导在特定问题中选择合适的算法。
• 突出存在的开放问题并提出离线RL的未来研究方向。

提出的方法

• 提出一个高层次的分类法，将离线RL方法按数据使用方式（动力学模型、轨迹分布，或直接的无模型学习）以及是否使用规划或策略学习来分组。
• 采用统一记号来描述算法组成部分和损失函数，包括策略约束、正则化和不确定性评估项。
• 回顾各类文献（基于模型、一步法、模仿学习），讨论奠基性工作、近期文章和有潜力的预印本。
• 评估并总结数据集属性和基准实践，识别理想属性和常见陷阱。
• 提供按数据集属性对方法进行对比可视化（性能图），以帮助在给定数据情形下选择算法。

实验结果

研究问题

• RQ1 以覆盖所有现有及新兴方法的方式，对离线RL方法进行什么样的合适分类？
• RQ2 不同离线RL方法在多样的数据集属性下的表现如何，哪些类别在特定数据情形下最有前景？
• RQ3 离线RL必须应对的关键挑战有哪些（例如分布偏移、OOD动作），哪些技术可以缓解？
• RQ4 当前离线RL基准的局限性有哪些，如何改进数据集以测试所期望的属性？
• RQ5 哪些开放问题和未来方向对推动离线RL最具影响力？

主要发现

• 提出一种新颖的分类法，涵盖基于模型、一步法和模仿学习导向的离线RL方法，并包含诸如策略约束、正则化和不确定性项等不同的损失修饰。
• 离线RL由于缺乏环境交互而面临分布偏移，需要诸如行为策略约束、保守值估计或基于不确定性的规划等技术。
• 分析数据集属性和基准的不足，帮助研究者选择合适的评估设置，并识别方法成功或失败的数据情形。
• 统一记号和全面的文献综述覆盖奠基性与近期工作，阐明各组成部分如何贡献于性能。
• 识别出的开放问题包括改进离策略评估（OPE）、建立可靠的离线RL工作流，以及动态调整算法保守性。