[论文解读] Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning

Haitong Ma, Changliu Liu+3 more|arXiv (Cornell University)|Nov 15, 2021

Cardiac electrophysiology and arrhythmias被引用 6

一句话总结

该论文提出了一种新颖的约束强化学习（CRL）框架，联合合成安全证书并学习安全控制策略，而无需事先了解动力学特性或有效的安全证书。通过将能量增加最小化的损失函数进行公式化，并将其作为拉格朗日法CRL的外层循环，该方法收敛至局部最优的安全策略和有效的安全证书，在基准环境中实现零约束违反。

ABSTRACT

Safety is the major consideration in controlling complex dynamical systems using reinforcement learning (RL), where the safety certificate can provide provable safety guarantee. A valid safety certificate is an energy function indicating that safe states are with low energy, and there exists a corresponding safe control policy that allows the energy function to always dissipate. The safety certificate and the safe control policy are closely related to each other and both challenging to synthesize. Therefore, existing learning-based studies treat either of them as prior knowledge to learn the other, which limits their applicability with general unknown dynamics. This paper proposes a novel approach that simultaneously synthesizes the energy-function-based safety certificate and learns the safe control policy with CRL. We do not rely on prior knowledge about either an available model-based controller or a perfect safety certificate. In particular, we formulate a loss function to optimize the safety certificate parameters by minimizing the occurrence of energy increases. By adding this optimization procedure as an outer loop to the Lagrangian-based constrained reinforcement learning (CRL), we jointly update the policy and safety certificate parameters and prove that they will converge to their respective local optima, the optimal safe policy and a valid safety certificate. We evaluate our algorithms on multiple safety-critical benchmark environments. The results show that the proposed algorithm learns provably safe policies with no constraint violation. The validity or feasibility of synthesized safety certificate is also verified numerically.

研究动机与目标

• 解决安全强化学习中安全证书与控制策略之间的相互依赖问题。
• 消除在未知动力系统中对控制律先验知识或完美安全证书的依赖。
• 开发一个统一框架，通过约束强化学习联合优化安全证书与安全策略。
• 证明联合优化过程在安全证书与安全策略上均收敛至局部最优。
• 在具有安全关键性的环境中验证该方法，实现零约束违反。

提出的方法

• 制定一个损失函数以最小化安全证书中能量增加的发生，指导其合成。
• 将安全证书优化作为拉格朗日法约束强化学习（CRL）的外层循环进行集成。
• 采用多时间尺度训练方案，使策略、乘子和安全证书参数以不同频率更新。
• 使用神经网络参数化安全证书（能量函数），并通过梯度更新与策略联合训练。
• 采用基于惩罚的CRL公式化方法，利用拉格朗日乘子在策略学习过程中强制执行安全约束。
• 证明联合优化过程在安全策略与有效安全证书上均收敛至局部最优。

实验结果

研究问题

• RQ1 能否在不依赖系统动力学特性或有效安全证书的前提下，联合合成安全证书与安全控制策略？
• RQ2 如何将有效安全证书的合成整合进约束强化学习框架中，以确保可证明的安全性？
• RQ3 何种训练调度与损失公式化能够实现安全证书与策略的稳定联合优化？
• RQ4 所提方法是否在安全关键环境中实现了零约束违反？
• RQ5 所学习的安全证书在可行性与最优性方面相较于手工设计或先前学习的证书表现如何？

主要发现

• 所提算法在多个安全关键基准环境中均实现零约束违反，展现出强大的安全性。
• 所合成的安全证书经数值验证为有效，在自定义环境中成功率达99%，显著高于初始启发式指标的85%。
• 不可行率从基线的100%降至1%，表明可行性显著提升。
• 平均跟踪误差从手工设计的3.528降低至3.378（所合成证书），表明尽管未显式优化该目标，仍实现了更优的最优性。
• 如理论分析所证明，该算法在安全策略与安全证书上均收敛至局部最优。
• 联合优化框架在安全性和可行性方面均优于先前方法，所合成证书的保守性低于以往合成规则生成的证书。