[论文解读] Reachable Set Estimation and Safety Verification for Piecewise Linear Systems with Neural Network Controllers

Weiming Xiang, Hoang-Dung Tran+2 more|arXiv (Cornell University)|Feb 20, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用 9

一句话总结

本文提出一种逐层多面体方法，用于估计分段线性系统中ReLU神经网络控制器的输出可达集。通过将可达集计算表述为多面体并集上的运算，该方法实现了闭环系统的有限时间可达集估计，并通过与不安全区域的交集检查实现安全性验证。在数值示例中有效验证了[0,5]区间内的安全性，但在[0,10]区间内存在不确定性。

ABSTRACT

In this work, the reachable set estimation and safety verification problems for a class of piecewise linear systems equipped with neural network controllers are addressed. The neural network is considered to consist of Rectified Linear Unit (ReLU) activation functions. A layer-by-layer approach is developed for the output reachable set computation of ReLU neural networks. The computation is formulated in the form of a set of manipulations for a union of polytopes. Based on the output reachable set for neural network controllers, the output reachable set for a piecewise linear feedback control system can be estimated iteratively for a given finite-time interval. With the estimated output reachable set, the safety verification for piecewise linear systems with neural network controllers can be performed by checking the existence of intersections of unsafe regions and output reach set. A numerical example is presented to illustrate the effectiveness of our approach.

研究动机与目标

• 解决由神经网络控制的分段线性系统的正式安全性验证挑战，这些系统通常被视为行为不可预测的黑箱。
• 通过为闭环系统提供可达性分析，克服神经网络控制器在输入扰动下缺乏形式化保证的问题。
• 开发一种计算上可行的方法，通过首先估计ReLU神经网络控制器的输出可达集，来估计整个闭环系统的可达集。
• 通过检查估计的可达集与状态空间中预定义不安全区域之间的交集，实现安全性验证。
• 提出一种系统化框架，用于使用凸包过近似和多面体运算，在具有神经网络控制器的混合系统中进行安全性验证。

提出的方法

• 将ReLU神经网络输出可达集的计算表述为一系列多面体运算，将每一层的输出视为多面体的并集。
• 使用凸包过近似计算每一层输出的可达集，确保保守但计算上可行的估计。
• 采用逐层传播方法，通过线性变换和激活约束将输入不确定性集合映射到每一层ReLU层。
• 将估计的神经网络可达集整合到闭环分段线性系统动力学中，以在有限时间范围内计算整体系统的可达集。
• 通过迭代应用系统动力学到前一可达集，估计闭环系统的有限时域可达集，使用凸包保持过近似。
• 通过检查估计的可达集是否与预定义的不安全区域相交来执行安全性验证；无交集意味着系统安全。

实验结果

研究问题

• RQ1 如何高效且保守地计算ReLU神经网络控制器的输出可达集，以用于闭环系统分析？
• RQ2 能否使用多面体运算在有限时间区间内估计具有ReLU神经网络控制器的分段线性系统的可达集？
• RQ3 神经网络控制器的可达集与整个闭环系统可达集之间存在何种关系？
• RQ4 如何通过可达集估计对这类混合系统进行形式化安全性验证？
• RQ5 当仿真轨迹未进入不安全区域时，该方法在多大程度上能检测到潜在的不安全行为？

主要发现

• 所提方法成功利用逐层多面体运算框架计算了ReLU神经网络控制器的输出可达集，实现了保守的过近似。
• 在有限时间区间[0,5]和[0,10]内估计了闭环分段线性系统的可达集，基于凸包的过近似捕获了全部400条仿真轨迹。
• 安全性验证确认系统在[0,5]区间内安全，因为估计的可达集未与定义为||x - [4,4]^T||_∞ ≤ 1的不安全区域相交。
• 在[0,10]区间内，估计的可达集与不安全区域相交，表明尽管无仿真轨迹进入不安全集，安全性仍无法保证。
• 该方法揭示了仿真方法可能遗漏的潜在安全风险，展示了形式化可达集估计在安全关键控制系统的价值。
• 该方法在计算上可行且可扩展，适用于具有ReLU神经网络控制器的系统，如包含2层网络和4个隐层神经元的数值示例所示。