[论文解读] Offline Reinforcement Learning with Soft Behavior Regularization

Haoran Xu, Xianyuan Zhan+2 more|arXiv (Cornell University)|Oct 14, 2021

Reinforcement Learning in Robotics参考文献 59被引用 9

一句话总结

本文提出了一种名为软行为正则化演员-critic（SBAC）的离线强化学习算法，该算法利用与状态相关的密度比来实现软化的行为正则化，从而提升策略性能与稳定性。通过建模由状态访问比率加权的行为策略优势，SBAC在保证性能提升的同时实现了针对特定状态的正则化，相较于先前方法表现更优，在MuJoCo和Adroit基准测试中达到SOTA水平。

ABSTRACT

Most prior approaches to offline reinforcement learning (RL) utilize extit{behavior regularization}, typically augmenting existing off-policy actor critic algorithms with a penalty measuring divergence between the policy and the offline data. However, these approaches lack guaranteed performance improvement over the behavior policy. In this work, we start from the performance difference between the learned policy and the behavior policy, we derive a new policy learning objective that can be used in the offline setting, which corresponds to the advantage function value of the behavior policy, multiplying by a state-marginal density ratio. We propose a practical way to compute the density ratio and demonstrate its equivalence to a state-dependent behavior regularization. Unlike state-independent regularization used in prior approaches, this extit{soft} regularization allows more freedom of policy deviation at high confidence states, leading to better performance and stability. We thus term our resulting algorithm Soft Behavior-regularized Actor Critic (SBAC). Our experimental results show that SBAC matches or outperforms the state-of-the-art on a set of continuous control locomotion and manipulation tasks.

研究动机与目标

• 为解决现有离线强化学习方法中使用刚性、与状态无关的行为正则化时缺乏性能提升保证的问题。
• 开发一种策略学习目标，确保在离线设置下相对于行为策略的性能提升。
• 引入一种实用的、与状态相关的正则化机制，使在高置信度状态下的策略偏离程度更大。
• 通过利用边际状态访问比率，减少分布偏移，并在评估过程中提升鲁棒性。
• 在标准基准测试中，实现强于以往行为正则化离线强化学习算法的更强且更稳定的性能表现。

提出的方法

• 基于行为策略优势乘以折扣状态边际密度比，推导出一种新的策略目标，实现保证的策略性能提升。
• 提出一种实用方法，利用离线数据估计状态访问密度比，避免需要在线rollouts。
• 将密度比重新解释为与状态相关的正则化项，替代固定或基于熵的惩罚项。
• 提出软行为正则化演员-critic（SBAC），一种无需模型的算法，将推导出的目标整合到包含Q函数和策略更新的演员-critic训练中。
• 在目标函数中使用行为策略的Q值函数 $Q^{ u}$ 作为 $Q^{ u}$ 的代理，提升训练稳定性。
• 采用加权策略更新，根据状态置信度动态调整正则化强度，使在低覆盖区域允许更多探索。

实验结果

研究问题

• RQ1 在离线强化学习中，基于状态的正则化方案是否能保证相对于行为策略的性能提升？
• RQ2 在无模型离线强化学习设置中，边际状态访问比率应如何有效估计与利用？
• RQ3 与刚性、与状态无关的正则化相比，软性、与状态相关的正则化在最终性能和训练稳定性方面是否表现更优？
• RQ4 所提方法是否能在D4RL和Adroit等具有挑战性的连续控制基准测试中实现SOTA性能？
• RQ5 在处理分布偏移和分布外动作方面，该方法与现有OPE和行为正则化技术相比表现如何？

主要发现

• SBAC在D4RL基准中的标准MuJoCo运动与操控任务上实现了SOTA性能。
• SBAC在复杂控制设置下优于或匹配了SAC、TD3和BCQ等先前方法的性能表现。
• 该算法在多个随机种子下展现出显著更低的方差和更稳定的训练曲线，表明其具有良好的鲁棒性。
• 消融研究显示，若移除状态相关加权 $w^{ u}(s)$，性能将下降且稳定性降低。
• SBAC在使用 $Q^{ u}$ 而非 $Q^{ u}$ 的消融实验中表现更优，表明使用行为策略的Q值进行正则化至关重要。
• 与AlgaeDICE相比，该方法表现更优，后者因极小化-最大化优化过程中的不稳定性而表现欠佳。