[论文解读] Certifying Incremental Quadratic Constraints for Neural Networks via Convex Optimization

Navid Hashemi, Justin Ruths+1 more|arXiv (Cornell University)|Dec 10, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用 5

一句话总结

该论文提出了一种基于线性矩阵不等式（LMIs）的凸优化框架，用于在给定输入区域内验证前馈ReLU神经网络的增量二次约束——如局部利普希茨连续性、单边利普希茨性及收缩性。该方法通过半光滑规划实现了对局部利普希茨常数的紧致、保证的上界估计，并实现了神经网络控制系统的稳定性分析，在MNIST数据集和一个近似模型预测控制示例中得到验证。

ABSTRACT

Abstracting neural networks with constraints they impose on their inputs and outputs can be very useful in the analysis of neural network classifiers and to derive optimization-based algorithms for certification of stability and robustness of feedback systems involving neural networks. In this paper, we propose a convex program, in the form of a Linear Matrix Inequality (LMI), to certify incremental quadratic constraints on the map of neural networks over a region of interest. These certificates can capture several useful properties such as (local) Lipschitz continuity, one-sided Lipschitz continuity, invertibility, and contraction. We illustrate the utility of our approach in two different settings. First, we develop a semidefinite program to compute guaranteed and sharp upper bounds on the local Lipschitz constant of neural networks and illustrate the results on random networks as well as networks trained on MNIST. Second, we consider a linear time-invariant system in feedback with an approximate model predictive controller parameterized by a neural network. We then turn the stability analysis into a semidefinite feasibility program and estimate an ellipsoidal invariant set for the closed-loop system.

研究动机与目标

• 开发一种基于凸优化的方法，用于在感兴趣区域上验证神经网络映射的增量二次约束。
• 为深度神经网络的局部利普希茨常数提供保证且紧致的上界估计。
• 通过半光滑规划计算不变集，实现对神经网络作为控制器的反馈系统的稳定性分析。
• 解决现有利普希茨估计方法在随机网络与训练后网络中面临的可扩展性与准确性局限。
• 将二次约束框架的应用范围扩展至神经网络，以支持鲁棒控制与验证。

提出的方法

• 建立一个线性矩阵不等式（LMI），用于在指定区域内验证ReLU神经网络输入输出行为的增量二次约束。
• 利用输入集上的区间分析计算预激活边界，以表征神经元的激活状态。
• 应用引理3.4，利用预激活边界将激活函数表示为增量二次约束。
• 应用定理4.1，推导出确保神经网络在区域内满足给定二次约束的LMI条件。
• 求解所得的半光滑规划（SDP），以计算闭环系统中神经网络控制器的最大的椭球不变集。
• 对输入区域大小进行二分查找，并求解最大β值，使得椭球集保持在约束集内部。

实验结果

研究问题

• RQ1 能否通过凸优化高效地验证ReLU神经网络的增量二次约束？
• RQ2 该基于LMI的方法在准确性和可扩展性方面，能否实现对神经网络局部利普希茨常数的精确估计？
• RQ3 该框架能否用于计算神经网络控制器闭环系统的保证不变集？
• RQ4 所提出的认证方法在保守性、运行时间和内存消耗之间存在何种权衡？
• RQ5 与现有利普希茨估计技术相比，该方法在准确性和可扩展性方面表现如何？

主要发现

• 所提方法能够计算出神经网络局部利普希茨常数的保证且紧致的上界，在准确性和可扩展性方面优于现有方法。
• 对于MNIST训练的网络，该方法在计算效率更高的前提下，获得的利普希茨上界比FastLip及其他基于区间的估计方法更紧致。
• 该方法成功计算出一个半径为β = 0.669² / min_i (e_i^T P^{-1} e_i) 的椭球不变集，用于由ReLU网络近似模型预测控制的双积分器系统。
• 通过二分查找确定了最大的可行ε* = 0.669，确保存在正定矩阵P使得不变性LMI条件成立。
• 所得到的椭球不变集通过可达集仿真可视化并验证为正不变集。
• 该方法通过将问题转化为具有可证明保证的半光滑可行性规划，实现了对神经网络控制系统的稳定性认证。