[论文解读] CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee

Tengyu Xu, Yingbin Liang+1 more|arXiv (Cornell University)|Nov 11, 2020

Reinforcement Learning in Robotics参考文献 66被引用 22

一句话总结

本文提出约束修正策略优化（CRPO），一种新颖的原始方法，用于安全强化学习，通过交替优化奖励和修正约束违规，无需对偶变量。CRPO 实现了到全局最优策略的 O(1/√T) 收敛速率，以及 O(1/√T) 的约束满足误差，为原始 SRL 算法提供了首个具有全局最优性保证的有限时间分析。

ABSTRACT

In safe reinforcement learning (SRL) problems, an agent explores the environment to maximize an expected total reward and meanwhile avoids violation of certain constraints on a number of expected total costs. In general, such SRL problems have nonconvex objective functions subject to multiple nonconvex constraints, and hence are very challenging to solve, particularly to provide a globally optimal policy. Many popular SRL algorithms adopt a primal-dual structure which utilizes the updating of dual variables for satisfying the constraints. In contrast, we propose a primal approach, called constraint-rectified policy optimization (CRPO), which updates the policy alternatingly between objective improvement and constraint satisfaction. CRPO provides a primal-type algorithmic framework to solve SRL problems, where each policy update can take any variant of policy optimization step. To demonstrate the theoretical performance of CRPO, we adopt natural policy gradient (NPG) for each policy update step and show that CRPO achieves an $\\mathcal{O}(1/\\sqrt{T})$ convergence rate to the global optimal policy in the constrained policy set and an $\\mathcal{O}(1/\\sqrt{T})$ error bound on constraint satisfaction. This is the first finite-time analysis of primal SRL algorithms with global optimality guarantee. Our empirical results demonstrate that CRPO can outperform the existing primal-dual baseline algorithms significantly.

研究动机与目标

• 解决原始类型安全强化学习（SRL）算法中缺乏可证明的全局收敛性问题。
• 开发一种方法，避免原始-对偶方法中超参数敏感性，特别是对偶变量学习率和初始化的敏感性。
• 为原始 SRL 算法建立具有全局最优性保证的有限时间收敛速率。
• 证明原始方法在实践中可匹配或超越现有原始-对偶 SRL 方法的性能。

提出的方法

• CRPO 在奖励目标的无约束策略优化与违反约束的无约束策略最小化之间交替进行。
• 对目标最大化和约束修正均使用自然策略梯度（NPG）更新，避免对偶变量更新。
• 通过仅使用策略梯度步骤进行策略更新，而非通过投影阈值，来保持可行性。
• 采用两阶段更新：首先提升策略的奖励性能，然后立即通过最小化约束函数来纠正违反约束的情况。
• 该方法完全避免使用对偶变量，相比原始-对偶方法，显著降低了实现复杂度和超参数调优需求。
• 理论分析基于 KL 散度界和集中不等式，推导出有限时间收敛速率。

实验结果

研究问题

• RQ1 原始 SRL 算法能否在不使用对偶变量的情况下，实现对最优可行策略的全局收敛？
• RQ2 原始 SRL 算法在有限时间内收敛到全局最优策略的速率是多少？
• RQ3 原始方法在实践中能否超越已建立的原始-对偶 SRL 基线方法？
• RQ4 缺乏对偶变量是否能带来更好的鲁棒性并减少超参数调优？
• RQ5 在所提出的原始框架中，约束违规与奖励最大化的权衡关系如何？

主要发现

• CRPO 在约束策略集合中实现了到全局最优策略的 O(1/√T) 收敛速率。
• 该算法确保了约束满足的 O(1/√T) 误差界，意味着约束违规以该速率减小。
• 该收敛速率在有限时间分析下得到证明，标志着原始 SRL 算法的首次此类结果。
• 实验结果表明，CRPO 在性能上显著优于现有的原始-对偶基线算法。
• 该方法避免了对偶变量调优，且无需可行初始化，简化了实现过程。
• 理论分析证实，即使存在函数逼近误差，该算法仍能保持可行性与收敛性。