[论文解读] Learning Safe Neural Network Controllers with Barrier Certificates

Hengjun Zhao, Xia Zeng+3 more|arXiv (Cornell University)|Sep 18, 2020

Adversarial Robustness in Machine Learning参考文献 44被引用 4

一句话总结

本文提出了一种数据驱动框架，用于为具有形式化安全保证的非线性连续动力系统合成神经网络（NN）控制器。通过使用自定义损失函数联合训练控制器-NN与障碍-NN，实现了验证闭环的合成方法，确保通过障碍证书认证的安全性，实验结果证实了该方法在基准控制系统的可行性与有效性。

ABSTRACT

We provide a novel approach to synthesize controllers for nonlinear continuous dynamical systems with control against safety properties. The controllers are based on neural networks (NNs). To certify the safety property we utilize barrier functions, which are represented by NNs as well. We train the controller-NN and barrier-NN simultaneously, achieving a verification-in-the-loop synthesis. We provide a prototype tool nncontroller with a number of case studies. The experiment results confirm the feasibility and efficacy of our approach.

研究动机与目标

• 为解决非线性连续动力系统中设计安全、正确性构造的控制器的挑战，而无需深入控制理论专业知识。
• 实现神经网络控制器的数据驱动合成，通过集成验证使控制器天然满足安全属性。
• 通过神经网络共同优化控制器与障碍函数表示，确保形式化安全认证。
• 通过端到端从数据中学习障碍函数，减少对人工构造障碍函数的依赖。
• 开发一个原型工具 nncontroller，用于可扩展的NN控制器合成与验证。

提出的方法

• 使用具有领域特定损失函数的联合优化框架，同时训练控制器-NN与障碍-NN。
• 将障碍函数表示为神经网络，以利用通用逼近能力，并通过区间SMT求解器实现形式化验证。
• 设计自定义损失函数，以编码安全约束、稳定性目标以及有界控制输入（例如，通过Hardtanh激活函数实现）。
• 通过系统轨迹和状态空间区域的采样生成训练数据集，包括安全区域与非安全区域。
• 使用区间算术与基于SMT的推理，集成对学习到的障碍-NN的形式化验证，以确认其作为证书的角色。
• 应用自适应学习率调度与重启机制，以提升训练收敛性与鲁棒性。

实验结果

研究问题

• RQ1 是否能够以数据驱动方式合成神经网络控制器，同时通过形式化验证保证安全性？
• RQ2 如何将障碍函数作为神经网络进行学习，以作为控制器安全性的证书？
• RQ3 何种损失函数设计能够实现控制器与障碍网络的有效联合训练，同时满足安全与稳定性目标？
• RQ4 控制器与障碍NN的联合合成方法在安全性与效率方面是否优于传统的验证后合成方法？
• RQ5 该方法在具有复杂安全约束的非线性动力系统上的可扩展性如何？

主要发现

• 所提出的框架在多个案例研究中成功合成了满足安全属性的神经网络控制器，包括自行车模型与双积分器系统。
• 该方法实现了验证闭环的合成，其中障碍-NN通过区间SMT求解器被正式验证为有效证书。
• 五次运行的平均训练时间在每例26.35至891.24秒之间，验证成本在4.71至1344.50秒之间，表明计算开销适中。
• 采用稳定性感知损失函数与有界激活函数（Hardtanh）显著提升了控制器性能与收敛性，减少了学习策略中的不稳定性。
• 该方法对随机初始化表现出鲁棒性，重启机制在多个案例中成功从失败的训练运行中恢复。
• 原型工具 nncontroller 可成功处理最多6个状态变量的系统，并在所有测试实例中实现了障碍证书的形式化验证。