[论文解读] Learning Policies with Zero or Bounded Constraint Violation for Constrained MDPs

Tao Liu, Ruida Zhou+3 more|arXiv (Cornell University)|Jun 4, 2021

Reinforcement Learning in Robotics参考文献 15被引用 16

一句话总结

该论文为约束马尔可夫决策过程（CMDPs）提出两种新型强化学习算法，可在任意高概率下实现 $Ó(\sqrt{K})$ 的遗憾，且约束违反为零或有界。这些方法采用不确定性面前的乐观悲观法（OPFU），通过乐观策略促进探索，通过悲观策略确保安全，从而在不依赖严格安全策略先验知识的情况下，保证学习过程中的可证明安全性。

ABSTRACT

We address the issue of safety in reinforcement learning. We pose the problem in an episodic framework of a constrained Markov decision process. Existing results have shown that it is possible to achieve a reward regret of $ ilde{\mathcal{O}}(\sqrt{K})$ while allowing an $ ilde{\mathcal{O}}(\sqrt{K})$ constraint violation in $K$ episodes. A critical question that arises is whether it is possible to keep the constraint violation even smaller. We show that when a strictly safe policy is known, then one can confine the system to zero constraint violation with arbitrarily high probability while keeping the reward regret of order $ ilde{\mathcal{O}}(\sqrt{K})$. The algorithm which does so employs the principle of optimistic pessimism in the face of uncertainty to achieve safe exploration. When no strictly safe policy is known, though one is known to exist, then it is possible to restrict the system to bounded constraint violation with arbitrarily high probability. This is shown to be realized by a primal-dual algorithm with an optimistic primal estimate and a pessimistic dual update.

研究动机与目标

• 为解决强化学习中安全性这一关键挑战，设计能保证训练过程中零或有界约束违反的算法。
• 在保持安全的前提下实现 $\tilde{\mathcal{O}}(\sqrt{K})$ 的遗憾，克服以往方法中常见的 $\tilde{\mathcal{O}}(\sqrt{K})$ 约束违反问题。
• 为具有未知动态、奖励和成本的周期性表格型 CMDPs 提供安全性和性能的理论保证。
• 通过新颖的 OPFU 框架，将安全探索原则从 bandits 扩展到序列决策问题。

提出的方法

• 所提出的 OptPess-LP 算法通过乐观主问题估计和悲观对偶更新，在已知严格安全策略时确保零约束违反。
• OptPess-PrimalDual 算法采用主对偶结构，结合乐观主问题估计与悲观对偶更新，在未知严格安全策略时实现约束违反的有界控制。
• 两种算法均应用不确定性面前的乐观悲观法（OPFU）原则，其中乐观性促进探索，悲观性抑制不安全行为。
• 算法使用基于 Hoeffding 不等式和浓度不等式的值函数与约束的高概率置信区间。
• 采用李雅普诺夫漂移分析证明稳定性与收敛性，确保在高概率下约束违反有界。
• 当 $c^0$ 未知时，算法通过策略滚动采样估计其值，并使用悲观上界以维持安全性。

实验结果

研究问题

• RQ1 能否在周期性 CMDPs 中实现 $\tilde{\mathcal{O}}(\sqrt{K})$ 遗憾且约束违反为零？
• RQ2 当不存在严格安全策略时，是否可能以高概率维持有界的约束违反？
• RQ3 不确定性面前的乐观悲观法（OPFU）原则能否有效应用于有约束的序列决策问题？
• RQ4 与现有基于 OFU 的方法相比，OPFU 基算法在遗憾与安全性方面的表现如何？

主要发现

• 当已知严格安全策略时，OptPess-LP 算法以任意高概率实现 $\tilde{\mathcal{O}}(\sqrt{K})$ 遗憾且约束违反为零。
• 当未知严格安全策略但其存在时，OptPess-PrimalDual 算法实现 $\tilde{\mathcal{O}}(\sqrt{K})$ 遗憾与有界约束违反，且与 $K$ 无关。
• 有界情况下的约束违反为 $\mathcal{O}(C''H + H^2\sqrt{|Σ|^3|α|C''\log(C''/\delta')})$，与环境的总 episode 数 $K$ 无关。
• 遗憾界按 $\tilde{\mathcal{O}}(H^3/(τ - c^0)\sqrt{|Σ|^3|α|K})$ 缩放，其中 $c^0$ 为已知安全策略的成本，$\tau$ 为约束阈值。
• 算法通过乐观性（促进探索）与悲观性（避免约束违反）的平衡维持安全性，确保以高概率不采取不安全动作。
• 当 $c^0$ 未知时，算法通过 $K'' = \mathcal{O}(\log K / H(\tau - c^0)^2)$ 次滚动采样估计其值，并保持相同的遗憾阶，且满足 $1/(τ - c^{0'}) \leq 2/(τ - c^0)$。