[论文解读] A Primal Approach to Constrained Policy Optimization: Global Optimality and Finite-Time Analysis

Tengyu Xu, Yingbin Liang+1 more|arXiv (Cornell University)|May 4, 2021

Reinforcement Learning in Robotics参考文献 61被引用 14

一句话总结

本文提出约束修正策略优化（CRPO），一种安全强化学习的原始方法，通过交替改进策略目标并强制执行约束来实现。通过使用自然策略梯度更新，CRPO在受限集合中实现到全局最优策略的O(1/T)收敛速度，并实现O(1/T)的约束违反误差，这是首个针对SRL问题在有限时间内具有全局最优性保证的分析。

ABSTRACT

Safe reinforcement learning (SRL) problems are typically modeled as constrained Markov Decision Process (CMDP), in which an agent explores the environment to maximize the expected total reward and meanwhile avoids violating certain constraints on a number of expected total costs. In general, such SRL problems have nonconvex objective functions subject to multiple nonconvex constraints, and hence are very challenging to solve, particularly to provide a globally optimal policy. Many popular SRL algorithms adopt a primal-dual structure which utilizes the updating of dual variables for satisfying the constraints. In contrast, we propose a primal approach, called constraint-rectified policy optimization (CRPO), which updates the policy alternatingly between objective improvement and constraint satisfaction. CRPO provides a primal-type algorithmic framework to solve SRL problems, where each policy update can take any variant of policy optimization step. To demonstrate the theoretical performance of CRPO, we adopt natural policy gradient (NPG) for each policy update step and show that CRPO achieves an O(1/T) convergence rate to the global optimal policy in the constrained policy set and an O(1/T) error bound on constraint satisfaction. This is the first finite-time analysis of SRL algorithms with global optimality guarantee. Our empirical results demonstrate that CRPO can outperform the existing primal-dual baseline algorithms significantly.

研究动机与目标

• 解决在非凸目标和约束下实现安全强化学习（SRL）全局最优性的挑战。
• 开发一种避免依赖对偶变量更新的原始类型算法框架，与大多数现有SRL方法不同。
• 为建模为受限MDP的SRL问题提供有限时间收敛分析，并保证全局最优性。
• 通过实证验证，所提出方法在安全性和性能方面显著优于现有的原始-对偶SRL基线方法。

提出的方法

• CRPO采用交替更新机制：首先改进策略目标，然后通过修正使其满足约束条件。
• 每个策略更新步骤使用自然策略梯度（NPG）以确保策略改进的稳定性和高效性。
• 通过在每次目标更新后对策略进行投影或修正，算法维持一个受限策略集合，以满足期望成本约束。
• 该方法通过在原始空间中直接强制执行约束，避免了对偶变量估计，从而简化了实现和分析。
• 理论分析利用受限MDP的结构和NPG的性质，推导出有限时间收敛速率。
• 该框架具有通用性，可与任何策略优化变体结合使用，而不仅限于NPG，尽管NPG被用于理论分析。

实验结果

研究问题

• RQ1 原始方法能否在非凸目标和约束下，实现SRL中受限策略优化的全局最优性？
• RQ2 原始SRL算法在有限时间内收敛到受限集合中全局最优策略的速率是多少？
• RQ3 此类原始方法能否以可量化的速率实现有界的约束违反？
• RQ4 在实践中，该原始方法与现有原始-对偶SRL算法相比性能如何？
• RQ5 是否可能在不依赖对偶变量更新的前提下，实现SRL中具有有限时间保证的全局最优性？

主要发现

• CRPO在受限策略集合内实现O(1/T)的收敛速率，其中T为迭代次数。
• 该算法确保约束满足的误差界为O(1/T)，意味着约束违反以可量化的速率减少。
• 这是首个具有全局最优性保证的SRL算法的有限时间分析。
• 实证评估表明，CRPO在样本效率和约束遵守方面显著优于现有的原始-对偶SRL基线方法。
• 通过交替更新目标和约束的原始方法被证明在实践和理论上均有效，为基于对偶的方法提供了一种可行的替代方案。
• 在CRPO中使用自然策略梯度可确保策略更新的稳定性和高效性，从而支持理论收敛速率的实现。