[论文解读] A Minimalist Approach to Offline Reinforcement Learning

Scott Fujimoto, Shixiang Gu|arXiv (Cornell University)|Jun 12, 2021

Reinforcement Learning in Robotics参考文献 56被引用 164

一句话总结

TD3+BC 表明，在 TD3 中添加一个行为克隆项并对数据进行归一化，可以以显著更低的复杂性和计算量达到与最先进离线强化学习相当的性能。

ABSTRACT

Offline reinforcement learning (RL) defines the task of learning from a fixed batch of data. Due to errors in value estimation from out-of-distribution actions, most offline RL algorithms take the approach of constraining or regularizing the policy with the actions contained in the dataset. Built on pre-existing RL algorithms, modifications to make an RL algorithm work offline comes at the cost of additional complexity. Offline RL algorithms introduce new hyperparameters and often leverage secondary components such as generative models, while adjusting the underlying RL algorithm. In this paper we aim to make a deep RL algorithm work while making minimal changes. We find that we can match the performance of state-of-the-art offline RL algorithms by simply adding a behavior cloning term to the policy update of an online RL algorithm and normalizing the data. The resulting algorithm is a simple to implement and tune baseline, while more than halving the overall run time by removing the additional computational overhead of previous methods.

研究动机与目标

• 激发一种极简的离线RL方法，减少实现与超参数开销。
• 研究对在线算法的简单改动是否可以在离线中表现良好且无需额外组件。
• 展示数据归一化和一个 BC 项可以稳定并提升离线学习。
• 提供一个易于复现的基线，与标准基准上的最先进性能保持一致。

提出的方法

• 从 TD3 开始，在策略更新中添加行为克隆正则化项。
• 将数据集的状态特征归一化为零均值和单位方差。
• 引入 BC/QL 平衡的 lambda 缩放：lambda = alpha / (1/N) sum|Q(s,a)|（按小批量估计）。
• 使用单个超参数 alpha（默认值 2.5）来控制正则化项的强度。
• 保持改动尽可能少：在基础 TD3 更新之外仅增加几行代码。

实验结果

研究问题

• RQ1 一个深度强化学习算法是否可以只对基础在线算法做最小改动就实现离线有效？
• RQ2 一个简单的 BC 正则化项再加上数据归一化是否足以在标准基准上与最先进的离线RL方法匹配？
• RQ3 归一化和 BC 项对离线 RL 的稳定性与性能有何影响？

主要发现

• TD3+BC 在 D4RL MuJoCo 基准上达到与 Fisher-BRC 相当的性能。
• TD3+BC 的计算时间明显少于 CQL 和 Fisher-BRC（大约不到总训练时间的一半）。
• 状态归一化在离线 RL 中提供了非平凡的稳定性与性能提升。
• 单一超参数（alpha）控制 RL 与模仿之间的平衡，在许多设置下对各任务具有鲁棒性。