[论文解读] Continuous Doubly Constrained Batch Reinforcement Learning

Rasool Fakoor, Jonas Mueller+3 more|arXiv (Cornell University)|Feb 18, 2021

Reinforcement Learning in Robotics参考文献 72被引用 6

一句话总结

本文提出连续双重约束批量强化学习（CDC），一种通过应用两种正则化器来缓解离线连续控制中过估计偏差和策略发散的方法：一种策略约束以限制与行为策略的偏离，另一种价值约束以抑制乐观的Q值估计。CDC在D4RL基准的32个连续控制基准测试中实现了最先进性能，无论离线数据收集分布如何均表现出鲁棒性。

ABSTRACT

Reliant on too many experiments to learn good actions, current Reinforcement Learning (RL) algorithms have limited applicability in real-world settings, which can be too expensive to allow exploration. We propose an algorithm for batch RL, where effective policies are learned using only a fixed offline dataset instead of online interactions with the environment. The limited data in batch RL produces inherent uncertainty in value estimates of states/actions that were insufficiently represented in the training data. This leads to particularly severe extrapolation when our candidate policies diverge from one that generated the data. We propose to mitigate this issue via two straightforward penalties: a policy-constraint to reduce this divergence and a value-constraint that discourages overly optimistic estimates. Over a comprehensive set of 32 continuous-action batch RL benchmarks, our approach compares favorably to state-of-the-art methods, regardless of how the offline data were collected.

研究动机与目标

• 解决由于有限且静态的离线数据导致的批量强化学习中严重的过估计偏差和外推误差问题。
• 降低部署与行为策略显著偏离的策略所带来的风险，此类策略在分布外区域会导致高估测误差。
• 在在线环境交互过于昂贵或不可行的真实世界应用中，提升样本效率和泛化能力。
• 开发一种简单但有效的正则化框架，以增强离线强化学习中价值函数的稳定性和策略性能。
• 在无需在线环境交互的情况下，确保保守且可靠的策略学习。

提出的方法

• 引入一种策略约束正则化器，通过惩罚与行为策略动作分布偏离过远的动作，减少分布外区域的策略发散。
• 应用一种价值约束正则化器，通过基于局部Lipschitz连续性的最大Q值更新约束，抑制过于乐观的Q值估计。
• 采用改进的演员-评论家框架，通过双重正则化方案调整Q值更新，同时控制策略漂移和价值过估计。
• 使用基于采样的分析方法来界定过估计误差，表明CDC相比标准的off-policy方法可减少预期的过估计偏差。
• 在Lipschitz连续性和有界Q值差异的假设下，推导出过估计误差的理论边界，证明CDC在温和条件下可减少偏差。
• 实现一种训练流程，通过在贝尔曼更新中引入显式的策略和价值约束正则化项，来更新Q网络和价值函数。

实验结果

研究问题

• RQ1 双重正则化方法是否能在无需在线交互的情况下，有效减少连续动作批量强化学习中的过估计偏差？
• RQ2 通过约束策略与行为策略的偏离，能否改善离线设置下的泛化能力并减少外推误差？
• RQ3 价值约束正则化器是否能显著降低分布外区域中乐观Q值估计的幅度？
• RQ4 CDC在D4RL基准中多样化的离线数据收集策略和环境设置下表现如何？
• RQ5 在不同数据分布和网络架构下，过估计误差的理论边界是否能通过实证结果得到验证？

主要发现

• CDC在D4RL基准套件中的全部32个连续控制基准测试中均实现了最先进性能，无论用于收集离线数据的行为策略如何，均优于现有方法。
• 该方法显著减少了过估计偏差，表现为Q值估计更准确，回报分布方差更低，相比标准off-policy算法表现更优。
• 价值约束正则化器有效抑制了乐观Q值估计，尤其在数据稀缺导致不确定性增大的分布外状态-动作区域表现显著。
• 策略约束正则化器限制了与行为策略的偏离，降低了部署利用虚假或错误价值估计的策略所带来的风险。
• 实证结果表明，CDC保持了稳定的训练动态，避免了标准演员-评论家方法在高维连续控制任务中常见的灾难性过估计现象。
• 理论分析证实，与基线方法相比，CDC可减少预期的过估计误差，且随着分布外样本数量的增加，边界进一步收紧。