[论文解读] Certifying Incremental Quadratic Constraints for Neural Networks

Navid Hashemi, Justin Ruths+1 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Control Systems Optimization被引用 1

一句话总结

该论文提出了一种基于线性矩阵不等式（LMIs）的凸优化框架，用于在给定输入区域内验证神经网络的增量二次约束（IQCs）。该方法可验证局部利普希茨连续性、单边利普希茨性、可逆性及压缩性等性质，并用于计算精确的利普希茨上界，分析神经网络控制反馈系统的稳定性。

ABSTRACT

Abstracting neural networks with constraints they impose on their inputs and outputs can be very useful in the analysis of neural network classifiers and to derive optimization-based algorithms for certification of stability and robustness of feedback systems involving neural networks. In this paper, we propose a convex program, in the form of a Linear Matrix Inequality (LMI), to certify incremental quadratic constraints on the map of neural networks over a region of interest. These certificates can capture several useful properties such as (local) Lipschitz continuity, one-sided Lipschitz continuity, invertibility, and contraction. We illustrate the utility of our approach in two different settings. First, we develop a semidefinite program to compute guaranteed and sharp upper bounds on the local Lipschitz constant of neural networks and illustrate the results on random networks as well as networks trained on MNIST. Second, we consider a linear time-invariant system in feedback with an approximate model predictive controller parameterized by a neural network. We then turn the stability analysis into a semidefinite feasibility program and estimate an ellipsoidal invariant set for the closed-loop system.

研究动机与目标

• 开发一种可扩展且可验证的方法，用于在指定输入区域内认证神经网络的增量二次约束。
• 实现对局部利普希茨连续性、单边利普希茨连续性、可逆性及压缩性等关键网络性质的验证。
• 提供一种计算上可行的框架，利用半定规划进行神经网络控制系统的鲁棒性与稳定性分析。
• 计算神经网络局部利普希茨常数的保证且精确的上界，适用于随机网络与训练后的网络。
• 通过半定可行性规划，估计包含神经网络控制器的闭环系统的椭球不变集，确保稳定性。

提出的方法

• 将凸规划表述为线性矩阵不等式（LMI）形式，以验证神经网络映射上的增量二次约束。
• 利用LMI框架编码并验证在特定关注区域内的局部利普希茨连续性与压缩性等性质。
• 应用半定规划计算神经网络局部利普希茨常数的上界，并保证其紧致性。
• 将神经网络模型预测控制器与线性时不变系统反馈连接的稳定性分析，转化为半定可行性规划。
• 利用IQCs认证方法估计闭环系统的椭球不变集，确保鲁棒稳定性。
• 利用凸松弛与凸优化技术，确保计算可行性与验证的正确性。

实验结果

研究问题

• RQ1 能否开发一种基于凸优化的框架，用于在给定输入区域内验证神经网络的增量二次约束？
• RQ2 如何利用凸规划计算神经网络局部利普希茨常数的保证上界？
• RQ3 IQCs认证在多大程度上可改善包含神经网络控制器的反馈系统的稳定性分析？
• RQ4 所提出的方法能否估计包含神经网络控制器的闭环系统的不变集，以确保稳定性？
• RQ5 与现有方法相比，所计算的利普希茨上界在精度上如何，特别是在MNIST数据集上的训练网络中？

主要发现

• 所提出的基于LMI的方法成功计算出神经网络局部利普希茨常数的保证且精确的上界，适用于随机网络与MNIST训练后的网络。
• 该方法在指定输入区域内验证了局部利普希茨连续性、单边利普希茨连续性、可逆性及压缩性等关键网络性质。
• 对于包含神经网络控制器的反馈系统，该方法将稳定性分析转化为半定可行性规划，从而实现椭球不变集的估计。
• 该框架提供了一种可靠且计算上可行的方法，用于认证增量二次约束，实现鲁棒性与稳定性保证。
• 结果表明该方法在鲁棒性验证与稳定性分析中具有实用性，其定量边界具有可证明的正确性。
• 与先前方法相比，该方法在深度网络与训练模型中实现了更紧致的利普希茨上界。