[论文解读] Achieving Zero Constraint Violation for Constrained Reinforcement Learning via Primal-Dual Approach

Qinbo Bai, Amrit Singh Bedi+3 more|arXiv (Cornell University)|Sep 13, 2021

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种用于约束强化学习的保守随机原始-对偶算法（CSPDA），通过一种新颖的对偶域保守约束方法，实现了零约束违规的 $Ø$-最优累积奖励，样本复杂度为 $Ø\left(1/\epsilon^{2}\right)$，显著优于此前在无模型CMDP中实现零违规策略的最先进水平 $Ø\left(1/\epsilon^{5}\right)$。

ABSTRACT

Reinforcement learning is widely used in applications where one needs to perform sequential decisions while interacting with the environment. The problem becomes more challenging when the decision requirement includes satisfying some safety constraints. The problem is mathematically formulated as constrained Markov decision process (CMDP). In the literature, various algorithms are available to solve CMDP problems in a model-free manner to achieve $ε$-optimal cumulative reward with $ε$ feasible policies. An $ε$-feasible policy implies that it suffers from constraint violation. An important question here is whether we can achieve $ε$-optimal cumulative reward with zero constraint violations or not. To achieve that, we advocate the use of randomized primal-dual approach to solve the CMDP problems and propose a conservative stochastic primal-dual algorithm (CSPDA) which is shown to exhibit $ ilde{\mathcal{O}}\left(1/ε^2 ight)$ sample complexity to achieve $ε$-optimal cumulative reward with zero constraint violations. In the prior works, the best available sample complexity for the $ε$-optimal policy with zero constraint violation is $ ilde{\mathcal{O}}\left(1/ε^5 ight)$. Hence, the proposed algorithm provides a significant improvement as compared to the state of the art.

研究动机与目标

• 为解决在无模型约束强化学习中实现最优策略性能且无任何约束违规的关键挑战。
• 弥合自动驾驶和电力系统等应用中理论最优性与实际安全性之间的差距，这些场景中约束违规具有灾难性后果。
• 开发一种样本高效的算法，确保在约束马尔可夫决策过程（CMDPs）中实现 $Ø$-最优累积奖励的同时，零约束违规。
• 克服先前方法的局限性，即即使达到 $Ø$-最优性，仍允许存在非零约束违规的 $Ø$-可行策略。
• 通过保守对偶约束和基于KL散度的对偶更新，为CMDPs中的原始-对偶方法建立新的理论基础。

提出的方法

• 所提出的CSPDA算法采用原始-对偶框架，其中对偶变量通过在对偶域中使用保守约束策略进行更新，以在原始策略中强制实现零约束违规。
• 它引入了自适应状态-动作对采样，导致随机梯度中出现无界的二阶矩，因此需要非标准分析。
• 对偶更新使用KL散度作为性能度量，即使在梯度方差无界的情况下也能实现稳定收敛，灵感来自Zhang等人（2021年）。
• 该方法利用一种新颖的理论分析，将对偶域中的约束违规与原始域中的可行性联系起来，确保最终策略中零违规。
• 采用带有常数 $C_1$ 和 $C_2$ 的保守对偶更新，其值与对偶最优解 $\|\mathbf{y}^*\|_1$ 和 $\|\mathbf{z}^*\|_\infty$ 成比例，确保紧致的原始可行性边界。
• 该算法专为无模型学习设计，无需事先了解转移概率，适用于真实世界环境。

实验结果

研究问题

• RQ1 我们能否使用无模型算法在约束强化学习中实现 $Ø$-最优累积奖励且零约束违规？
• RQ2 在不事先了解环境转移动态的情况下，实现CMDPs中零违规的最优样本复杂度是多少？
• RQ3 如何利用保守对偶约束来确保原始域中零约束违规，同时保持向最优策略的收敛？
• RQ4 自适应采样导致的随机梯度估计中无界方差，能否在原始-对偶强化学习框架中有效处理？
• RQ5 在CMDPs中，是否可能实现优于 $\tilde{\mathcal{O}}(1/\epsilon^5)$ 的样本复杂度，以实现零违规策略？

主要发现

• 所提出的CSPDA算法实现了 $Ø$-最优累积奖励且零约束违规，建立了新的最先进样本复杂度 $\tilde{\mathcal{O}}(1/\epsilon^2)$。
• 这相比此前在无模型CMDP中实现零违规策略的最佳结果 $\tilde{\mathcal{O}}(1/\epsilon^5)$ 实现了显著改进。
• 该算法确保约束违规被限制在 $\|\mathbf{g}(\tilde{\mathbf{x}})_+\|_\infty \leq 2\delta / C_1$ 和 $\|\mathbf{A}\tilde{\mathbf{x}} + \mathbf{b}\|_1 \leq 2\delta / C_2$ 范围内，其中 $C_1 \geq 2\|\mathbf{y}^*\|_1$ 且 $C_2 \geq 2\|\mathbf{z}^*\|_\infty$。
• 理论分析证明，原始目标差距被限制在 $\delta$ 以内，且约束违规随 $\delta / C_1$ 和 $\delta / C_2$ 衰减，确保在极限情况下实现零违规。
• 该方法通过基于KL散度的对偶更新，成功处理了梯度估计中无界的二阶矩，使得标准鞍点方法失效的场景下仍能实现收敛。
• 概念验证实验验证了理论发现，表明该算法能够维持零约束违规，同时实现接近最优的性能。