[논문 리뷰] Semialgebraic Optimization for Lipschitz Constants of ReLU Networks

Tong Chen, Jean B. Lasserre외 2명|arXiv (Cornell University)|2020. 02. 10.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 17

한 줄 요약

이 논문은 다항식 리프팅과 약한 Putinar 유형의 양성 증명을 기반으로 한 정수형 프로그래밍(SDP) 계층을 제안하여 딥 ReLU 네트워크의 전역 및 국소 리프시츠 상수에 대한 더 낫거나 더 낮은 상한을 계산한다. 이 방법은 특히 강건성 인증 및 워샤프스타인 GAN 응용 분야에서 상태의 기술보다 더 우수한 상한 품질과 계산 효율성을 보인다.

ABSTRACT

The Lipschitz constant of a network plays an important role in many applications of deep learning, such as robustness certification and Wasserstein Generative Adversarial Network. We introduce a semidefinite programming hierarchy to estimate the global and local Lipschitz constant of a multiple layer deep neural network. The novelty is to combine a polynomial lifting for ReLU functions derivatives with a weak generalization of Putinar's positivity certificate. This idea could also apply to other, nearly sparse, polynomial optimization problems in machine learning. We empirically demonstrate that our method provides a trade-off with respect to state of the art linear programming approach, and in some cases we obtain better bounds in less time.

연구 동기 및 목표

• 딥 ReLU 네트워크의 전역 및 국소 리프시츠 상수를 계산적으로 효율적으로 추정하는 방법을 개발한다.
• 기존의 선형 프로그래밍 및 Shor의 이론적 접근법을 초월하여 리프시츠 상수에 대한 더 낫거나 더 낮은 상한을 제공한다.
• 다항식 최적화에서 반대칭 표현을 통해 ReLU 함수와 그 일반화된 도함수의 정확한 처리를 가능하게 한다.
• 더 정확한 리프시츠 상한을 통해 강건성 인증과 워샤프스타인 GAN 훈련을 지원한다.
• 딥 러닝에서 발생하는 거의 희소 다항식 최적화 문제에 대해 모멘트 이론적 접근법의 적용 범위를 확장한다.

제안 방법

• ReLU 함수와 그 일반화된 도함수는 다항식 부등식을 사용하여 기본적으로 닫힌 반대칭 다항식 집합으로 표현된다.
• 다항식 리프팅 기법을 적용하여 ReLU 및 그 도함수를 더 높은 차원의 공간에 표현함으로써 정확한 반대칭 다항식 표현이 가능해진다.
• Putinar의 양성 증명의 약한 일반화를 사용하여 다항식 최적화 문제(POL)에 대해 수렴하는 정수형 프로그래밍 계층을 구성한다.
• 이 방법은 리프시츠 상수 추정을 이차 제약 조건이 있는 이차 프로그래밍(QCQP) 문제로 공식화한 후, 제안된 SDP 계층을 통해 이완한다.
• 계산 효율성과 상한의 날카움을 균형 있게 유지하기 위해 조밀하고 희소한 Lasserre 유형의 모멘트 이론적 접근법을 조합한다.
• 이 프레임워크는 MNIST 분류 작업에서 강건성 인증을 위한 국소 리프시츠 상수를 계산하는 데 적용된다.

실험 결과

연구 질문

• RQ1 반대칭 다항식 리프팅 기반의 정수형 프로그래밍 계층은 기존의 선형 프로그래밍 또는 Shor의 이론적 접근법보다 더 낫거나 더 낮은 리프시츠 상한을 제공할 수 있는가?
• RQ2 제안된 방법은 ReLU 네트워크에서 국소 리프시츠 상수 추정에 대해 어떻게 성능을 발휘하는가?
• RQ3 약한 Putinar 유형의 증명은 ReLU 활성화를 포함한 다항식 최적화 문제에서 전역 최적해를 얼마나 정확히 근사할 수 있는가?
• RQ4 딥 러닝에서 발생하는 거의 희소 다항식 최적화 문제에 대해 이론적 접근법을 큰 계산 오버헤드 없이 효율적으로 적용할 수 있는가?
• RQ5 ReLU와 그 도함수의 정확한 반대칭 다항식 표현은 실제로 강건성 인증 성공률을 향상시키는가?

주요 결과

• 제안된 SDP 기반 방법은 최신 선형 프로그래밍 접근법과 비교해도 더 낫거나 유사한 상한을 달성하며, 많은 경우 더 빠른 수렴 속도를 보인다.
• MNIST에서의 SDP-NN 네트워크에 대해, ε = 0.1일 때 67.63%의 테스트 예측이 강건함을 인증하며, Grad-cert(65%)보다 약간이지만 뚜렷한 우월성을 보였다.
• 여러 기준 사례에서 이론적 방법은 Shor의 이론적 접근법과 [21]에서 제안한 LP 기반 접근법보다 더 낫거나 더 낮은 상한을 제공한다.
• ReLU와 그 일반화된 도함수에 대한 정확한 반대칭 다항식 리프팅을 사용함으로써 정확한 공식화와 향상된 수치적 안정성이 달성된다.
• 리프팅 또는 부분 모멘트 기법과 결합할 경우, 더 깊은 네트워크에서 발생하는 고차수 다항식에 대해서도 히우리스틱 모멘트 이론적 접근법이 여전히 효과적임을 확인하였다.
• 정확한 리프시츠 제어가 필수적인 강건성 인증과 워샤프스타인 GAN 훈련에 대해 실용적인 적용 가능성을 입증하였다.