[논문 리뷰] Lipschitz constant estimation of Neural Networks via sparse polynomial optimization

Fabian Latorre, Paul Rolland외 1명|arXiv (Cornell University)|2020. 04. 18.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 53

한 줄 요약

LiPopt은 다항 최적화로 이완하고 네트워크 희소성을 활용하는 일련의 LP를 풀이함으로써 신경망의 Lipschitz 상한을 더 촘촘하게 계산하고, MNIST와 임의의 네트워크에서 l_infty 노름에 대해 일부 SDP 접근법을 포함한 베이스라인보다 우수하게 성능을 보인다.

ABSTRACT

We introduce LiPopt, a polynomial optimization framework for computing increasingly tighter upper bounds on the Lipschitz constant of neural networks. The underlying optimization problems boil down to either linear (LP) or semidefinite (SDP) programming. We show how to use the sparse connectivity of a network, to significantly reduce the complexity of computation. This is specially useful for convolutional as well as pruned neural networks. We conduct experiments on networks with random weights as well as networks trained on MNIST, showing that in the particular case of the $\\ell_\\infty$-Lipschitz constant, our approach yields superior estimates, compared to baselines available in the literature.

연구 동기 및 목표

• 신경망의 강건성 및 일반화 분석을 위한 Lipschitz 상한의 촘촘한 필요성에 대해 동기를 부여한다.
• LP/SDP로의 이완을 통해 Lipschitz 상한을 구하는 다항 최적화 프레임워크로 LiPopt를 소개한다.
• 네트워크 희소성을 활용해 복잡도를 줄이고 합성곱/가지치기 아키텍처로 확장한다.
• 랜덤 네트워크와 MNIST로 학습된 네트워크에서 L_infty 노름에 초점을 맞춘 방법을 평가한다.
• 계산과 상한의 촘촘함 사이의 확장 가능하고 조절 가능한 트레이드오프를 제공한다.

제안 방법

• L(f_d) 를 그래디언트의 노름의 상계의 상으로 정의하고 파생 변수 s_i = sigma'(f_i(x))에 대한 도함수 변수들에 대해 다항 최적화 문제(POP)를 형식화한다.
• l_infty 노름으로 특수화하기 위해 이중 변수 t를 -1 <= t_i <= 1로 한정하여 목적함수를 다항식(norm-gradient polynomial p)으로 바꾼다.
• Krivine의 Positivstellensatz를 적용하여 양의 증명서를 통한 L(f_d)의 상한을 제공하는 선형 계획법(LP)의 계층을 얻고 차수 진행(theta_k)을 따른다.
• 합성패턴의 유효한 sparsity 패턴과 희소 Krivine 증명서를 도입하여 LP 크기를 감소시키고 연결성 및 계산 그래프 G_d를 활용한다.
• 관련된 경계로서 Shor의 Relaxation과 같은 대체 QCQP/SDP 이완을 제시하되 경우에 따라 더 느슨하고 확장성이 떨어진다고 주목한다.
• ElU 활성화 및 희소성 패턴에 대한 LiPopt 알고리즘(Algorithm 1)은 노름-그래디언트 다항식 계산, 희소 양의성 증명서 구성, 그리고 상한을 얻기 위한 LP 해석을 설명한다.

실험 결과

연구 질문

• RQ1 다항 최적화 이완을 통해 신경망의 Lipschitz 상한을 위로 바꿀 수 있는가?
• RQ2 네트워크 희소성을 활용하면 밀집 공식화나 SDP 기반 방법에 비해 확장 가능하고 더 촘촘한 상한을 얻을 수 있는가?
• RQ3 LP 기반 상한(LipOpt-k)이 SDP 상한 및 표준 벤치마크(예: MNIST 및 임의 네트워크)에서의 계층별 상한과 어떻게 비교되는가?
• RQ4 국소적(인스턴스 특화) 입력 영역을 사용하는 것이 Lipschitz 상한의 촘촘함에 어떤 영향을 미치는가?

주요 결과

• LiPopt는 L_infty Lipschitz 상수에 대해 기존의 SDP 기반 상한보다 더 촘촘한 상한을 제공할 수 있는 LP 기반 상한의 계층을 생성하며, 계층 차수가 증가함에 따라 그 차이가 커진다.
• 희소 Krivine 증명서를 통해 LP 크기와 계산 시간을 크게 줄여 더 깊은 또는 합성곱/가지치기 네트워크에 대해 더 촘촘한 상한을 가능하게 한다.
• MNIST로 학습된 네트워크와 임의의 네트워크에서 k가 깊이보다 큰 LipOpt-k가 해당 SDP 이완보다 상한의 촘촘함에서 우수하고 희소성에 따라 확장성이 더 좋다.
• 입력 점 주변의 로컬 Lipschitz 상한 추정은 전역 상한은 느슨하게 만들 수 있지만 데이터 포인트 주변에 로컬라이즈된 더 촘촘한 증명서를 가능하게 하여 강건성 인증에 이점을 시사한다.
• UBP(레이어별 상한)와 비교할 때 LipOpt-k가 보고된 실험에서 훨씬 더 촘촘한 상한을 제공한다.
• 이 방법은 경계된 도함수를 가지는 일반 활성화(예: ELU, softplus)에 대해 포용하며 L_infty 노름에 중점을 둔다.