[论文解读] Behavior Regularized Offline Reinforcement Learning

Yifan Wu, George Tucker+1 more|arXiv (Cornell University)|Nov 26, 2019

Reinforcement Learning in Robotics参考文献 33被引用 249

一句话总结

论文提出 BRAC，这是一个离线强化学习的灵活框架，通过对学到的策略向行为策略进行正则化来实现，展示了简单的设计选择即可达到与最先进方法相当的性能，而不需要重型集成或自适应正则化。

ABSTRACT

In reinforcement learning (RL) research, it is common to assume access to direct online interactions with the environment. However in many real-world applications, access to the environment is limited to a fixed offline dataset of logged experience. In such settings, standard RL algorithms have been shown to diverge or otherwise yield poor performance. Accordingly, recent work has suggested a number of remedies to these issues. In this work, we introduce a general framework, behavior regularized actor critic (BRAC), to empirically evaluate recently proposed methods as well as a number of simple baselines across a variety of offline continuous control tasks. Surprisingly, we find that many of the technical complexities introduced in recent methods are unnecessary to achieve strong performance. Additional ablations provide insights into which design choices matter most in the offline RL setting.

研究动机与目标

• 在单一框架下评估离线强化学习算法设计选择的重要性。
• 比较行为正则化的变体（价值惩罚与策略正则化）以及散度度量。
• 评估简单的 BRAC 变体是否能达到或超越复杂的离线强化学习方法。
• 就哪些组件对离线强化学习性能最重要提供实用指导。

提出的方法

• 提出 BRAC 框架，通过行为正则化统一现有的离线强化学习方法。
• 使用价值惩罚或策略正则化向行为策略进行正则化。
• 用不同的散度（MMD、KL、Wasserstein）和目标 Q 值估计方案来实现 BRAC 的变体。
• 在连续控制任务中对正则化类型、Q 值集合和散度选择进行受控的消融研究。
• 对策略学习率和正则化强度进行网格搜索以评估对敏感性的影响。

实验结果

研究问题

• RQ1 在连续控制任务中，哪些 BRAC 设计选择对离线强化学习的性能至关重要？
• RQ2 简单的 BRAC 变体是否足够，还是需要复杂的集成和自适应正则化？
• RQ3 不同的正则化散度在离线强化学习设置下有何比较？
• RQ4 在 BRAC 中，价值惩罚通常是否优于策略正则化？
• RQ5 BRAC 变体对超参数和数据集质量的敏感性有多大？

主要发现

• 简单的 BRAC 变体在离线强化学习中也能取得较强的性能，而不需要重型集成或自适应正则化。
• 使用两-Q 集成并取最小目标 Q 值通常效果良好；更大的集合带来的增益有限。
• 价值惩罚往往优于策略正则化，尽管两种变体都对部分训练策略超越基线。
• 不同的散度（MMD、KL、Wasserstein）在正则化方面的实际表现相近。
• 超参数选择，尤其是正则化强度，是离线强化学习成功的关键因素。