[논문 리뷰] Certifying Incremental Quadratic Constraints for Neural Networks

Navid Hashemi, Justin Ruths외 1명|arXiv (Cornell University)|2020. 12. 10.

Advanced Control Systems Optimization인용 수 1

한 줄 요약

이 논문은 주어진 입력 영역에서 신경망의 증분 정수 제약 조건(incremental quadratic constraints, IQCs)을 증명하기 위해 선형 행렬 부등식(Linear Matrix Inequalities, LMIs) 기반의 볼록 최적화 프레임워크를 제안한다. 이 방법은 局소 리프시츠 연속성, 한쪽 리프시츠 성질, 가역성, 수축성 등의 성질을 검증할 수 있으며, 신뢰할 수 있는 리프시츠 상한을 계산하고 신경망 기반 피드백 제어 시스템의 안정성 분석에 응용된다.

ABSTRACT

Abstracting neural networks with constraints they impose on their inputs and outputs can be very useful in the analysis of neural network classifiers and to derive optimization-based algorithms for certification of stability and robustness of feedback systems involving neural networks. In this paper, we propose a convex program, in the form of a Linear Matrix Inequality (LMI), to certify incremental quadratic constraints on the map of neural networks over a region of interest. These certificates can capture several useful properties such as (local) Lipschitz continuity, one-sided Lipschitz continuity, invertibility, and contraction. We illustrate the utility of our approach in two different settings. First, we develop a semidefinite program to compute guaranteed and sharp upper bounds on the local Lipschitz constant of neural networks and illustrate the results on random networks as well as networks trained on MNIST. Second, we consider a linear time-invariant system in feedback with an approximate model predictive controller parameterized by a neural network. We then turn the stability analysis into a semidefinite feasibility program and estimate an ellipsoidal invariant set for the closed-loop system.

연구 동기 및 목표

• 지정된 입력 영역에서 신경망의 증분 정수 제약 조건을 스케일러블하고 검증 가능한 방법으로 증명하는 데 목적이 있다.
• 국소 리프시츠 연속성, 한쪽 리프시츠 연속성, 가역성, 수축성과 같은 핵심 네트워크 성질의 검증을 가능하게 하는 데 목적이 있다.
• 신경망 기반 제어 시스템의 강건성 및 안정성 분석을 위한 정수형 프로그래밍(semidefinite programming) 기반의 계산적으로 타당한 프레임워크를 제공하는 데 목적이 있다.
• 랜덤 및 훈련된 네트워크 모두에 적용 가능한, 국소 리프시츠 상수에 대한 보장된 최상한 상한을 계산하는 데 목적이 있다.
• 피드백 루프 시스템에 대한 타원형 불변 집합을 추정하여, 정수형 타당성 프로그램을 통해 안정성을 보장하는 데 목적이 있다.

제안 방법

• 신경망 맵의 증분 정수 제약 조건을 검증하기 위해 선형 행렬 부등식(Linear Matrix Inequality, LMI) 형태의 볼록 프로그램을 수립한다.
• LMI 프레임워크를 사용하여 특정 관심 영역에서 국소 리프시츠 연속성 및 수축성과 같은 성질을 인코딩하고 검증한다.
• 정수형 프로그래밍을 적용하여 신경망의 국소 리프시츠 상수에 대한 상한을 계산하고, 그 정밀도를 보장한다.
• 신경망 모델 예측 제어기와 피드백 연결된 선형 정수계 시스템의 안정성 분석을 정수형 타당성 프로그램으로 변환한다.
• IQC 증명 기법을 활용하여 피드백 루프 시스템의 타원형 불변 집합을 추정하고, 강건한 안정성을 확보한다.
• 볼록 근사 및 볼록 최적화 기법을 활용하여 계산의 타당성과 검증의 타당성을 보장한다.

실험 결과

연구 질문

• RQ1 주어진 입력 영역에서 증분 정수 제약 조건을 검증할 수 있는 볼록 최적화 프레임워크를 개발할 수 있는가?
• RQ2 볼록 프로그래밍을 사용하여 신경망의 국소 리프시츠 상수를 보장된 상한으로 계산할 수 있는가?
• RQ3 IQC 증명 기법이 신경망 제어기를 포함하는 피드백 시스템의 안정성 분석에 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 신경망 제어기를 갖는 피드백 루프 시스템에 대해 불변 집합을 추정하여 안정성을 보장할 수 있는가?
• RQ5 특히 MNIST에 대해 훈련된 네트워크의 경우, 기존 방법에 비해 계산된 리프시츠 상한은 얼마나 정밀한가?

주요 결과

• 제안된 LMI 기반 방법은 랜덤 및 MNIST에 훈련된 네트워크 모두에 대해 보장된 최상한 상한을 효과적으로 계산한다.
• 이 방법은 특정 입력 영역 내에서 국소 리프시츠 연속성, 한쪽 리프시츠 연속성, 가역성, 수축성과 같은 핵심 네트워크 성질을 검증할 수 있다.
• 신경망 제어기를 갖는 피드백 시스템의 경우, 이 접근법은 안정성 분석을 정수형 타당성 프로그램으로 변환하여 타원형 불변 집합을 추정할 수 있다.
• 이 프레임워크는 증분 정수 제약 조건을 검증하기 위한 타당하고 계산적으로 타당한 방법을 제공하며, 강건성 및 안정성 보장을 가능하게 한다.
• 결과는 이 방법이 강건성 검증 및 안정성 분석에 실용적임을 보여주며, 증명 가능한 정확도를 갖는 정량적 상한을 제공한다.
• 특히 깊은 네트워크와 훈련된 모델의 경우, 이전 방법에 비해 더 타당한 리프시츠 상한을 달성한다.