[论文解读] Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs

Dong-Sheng Ding, Chen-Yu Wei+2 more|arXiv (Cornell University)|Jun 20, 2023

Reinforcement Learning in RoboticsComputer Science被引用 3

一句话总结

本文提出两种单时间尺度的策略梯度原始-对偶算法——正则化策略梯度原始-对偶（RPG-PD）与乐观策略梯度原始-对偶（OPG-PD）——用于约束马尔可夫决策过程（CMDPs）。通过利用熵正则化与二次正则化，并结合乐观梯度更新，该方法实现了策略迭代对最优约束策略的非渐近、次线性最后迭代收敛，这是首个在CMDPs中针对单时间尺度算法实现此类结果的研究。

ABSTRACT

We study the problem of computing an optimal policy of an infinite-horizon discounted constrained Markov decision process (constrained MDP). Despite the popularity of Lagrangian-based policy search methods used in practice, the oscillation of policy iterates in these methods has not been fully understood, bringing out issues such as violation of constraints and sensitivity to hyper-parameters. To fill this gap, we employ the Lagrangian method to cast a constrained MDP into a constrained saddle-point problem in which max/min players correspond to primal/dual variables, respectively, and develop two single-time-scale policy-based primal-dual algorithms with non-asymptotic convergence of their policy iterates to an optimal constrained policy. Specifically, we first propose a regularized policy gradient primal-dual (RPG-PD) method that updates the policy using an entropy-regularized policy gradient, and the dual variable via a quadratic-regularized gradient ascent, simultaneously. We prove that the policy primal-dual iterates of RPG-PD converge to a regularized saddle point with a sublinear rate, while the policy iterates converge sublinearly to an optimal constrained policy. We further instantiate RPG-PD in large state or action spaces by including function approximation in policy parametrization, and establish similar sublinear last-iterate policy convergence. Second, we propose an optimistic policy gradient primal-dual (OPG-PD) method that employs the optimistic gradient method to update primal/dual variables, simultaneously. We prove that the policy primal-dual iterates of OPG-PD converge to a saddle point that contains an optimal constrained policy, with a linear rate. To the best of our knowledge, this work appears to be the first non-asymptotic policy last-iterate convergence result for single-time-scale algorithms in constrained MDPs.

研究动机与目标

• 解决单时间尺度基于策略的原始-对偶方法在约束MDP中缺乏非渐近、最后迭代收敛保证的问题。
• 克服现有基于拉格朗日的策略搜索方法因采用双时间尺度或渐近收敛假设而导致的振荡与约束违反问题。
• 开发在单时间尺度更新机制下，能够以可证明的次线性速率收敛至最优约束策略的算法。
• 通过使用有界近似误差的函数逼近，将收敛保证扩展至大规模状态/动作空间。
• 在相同框架下，为一种新颖的基于乐观梯度的算法建立线性收敛性。

提出的方法

• 提出RPG-PD，一种单时间尺度算法，使用熵正则化策略梯度进行原始变量更新，使用二次正则化梯度上升进行对偶变量更新。
• 通过拉格朗日方法构建约束MDP的正则化鞍点形式，将问题转化为极小化-极大化优化任务。
• 引入OPG-PD，对原始变量与对偶变量均应用乐观梯度更新，以实现对包含最优策略的鞍点的线性收敛。
• 利用Bregman散度与性能差异引理分析策略价值提升与收敛速率。
• 在策略参数化中引入函数逼近，并证明收敛性误差上限为函数逼近误差。
• 利用KL散度与softmax参数化特性，推导出策略更新的精确梯度表达式。

Figure 1: Convergence performance of RPG-PD, OPG-PD, and primal-dual methods. Learning curves of our RPG-PD ( – – ) and OPG-PD ( — ), and NPG-PD [ 23 ] ( – $\cdot$ – ) and PID Lagrangian [ 29 ] ( $\cdot$ $\cdot$ $\cdot$ $\cdot$ ) methods. The horizontal axes mean the policy iterations $\{\pi_{t}\}_{

实验结果

研究问题

• RQ1 单时间尺度基于策略的原始-对偶算法能否在CMDPs中实现对最优约束策略的非渐近、最后迭代收敛？
• RQ2 在原始与对偶更新中引入正则化是否能稳定策略迭代并防止约束违反？
• RQ3 在单时间尺度框架下，乐观梯度更新能否在约束MDPs中实现线性收敛速率？
• RQ4 函数逼近如何影响大规模CMDPs中策略迭代的收敛性？
• RQ5 在策略参数化中使用函数逼近时，收敛速率与近似误差之间的权衡是什么？

主要发现

• RPG-PD以O(1/√T)的速率实现策略迭代对最优约束策略的次线性最后迭代收敛，同时对应地实现对正则化鞍点的次线性收敛速率。
• 在适当条件下，OPG-PD实现对包含最优策略的鞍点的线性收敛，收敛速率为O(ρ^T)，其中ρ ∈ (0,1)。
• RPG-PD的收敛保证可扩展至函数逼近设置，策略迭代在函数逼近误差范围内实现次线性收敛。
• 所提方法是首个在约束MDPs中为单时间尺度原始-对偶算法建立非渐近最后迭代收敛性的研究。
• 计算实验验证了所提方法在减少约束违反与提升收敛稳定性方面相较于基线方法的有效性。
• 理论分析证实，OPG-PD中的乐观更新机制可确保迭代稳定，并实现比标准梯度方法更快的收敛速度。

Figure 2: Convergence performance of OPG-PD with stepsize $\eta$ : ( $\eta=0.05$ , $\cdot$ $\cdot$ $\cdot$ $\cdot$ ), ( $\eta=0.1$ , – $\cdot$ – ), ( $\eta=0.2$ , — ). The horizontal axis represents the policy iterations $\{\pi_{t}\}_{t\,\geq\,0}$ that are generated by OPG-PD and the vertical axis m