[논문 리뷰] Polynomial Optimization for Bounding Lipschitz Constants of Deep Networks

Tong Chen, Jean B. Lasserre외 2명|arXiv (Cornell University)|2020. 02. 10.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 6

한 줄 요약

이 논문은 다항식 리프팅과 일반화된 Putinar 양성 증명을 활용한 정수형 프로그래밍 계층 구조를 제안하여 딥 ReLU 네트워크의 전역 및 국소 리프시츠 상수를 추정한다. 기존의 선형 프로그래밍 기반 방법에 비해 더 빠른 계산 속도와 더 날카운 bounds를 달성하여, 강화된 정밀도를 제공함으로써 정밀도 인증 및 GAN 훈련 응용 분야에서 향상된 성능을 제공한다.

ABSTRACT

The Lipschitz constant of a network plays an important role in many applications of deep learning, such as robustness certification and Wasserstein Generative Adversarial Network. We introduce a semidefinite programming hierarchy to estimate the global and local Lipschitz constant of a multiple layer deep neural network. The novelty is to combine a polynomial lifting for ReLU functions derivatives with a weak generalization of Putinar's positivity certificate. This idea could also apply to other, nearly sparse, polynomial optimization problems in machine learning. We empirically demonstrate that our method not only runs faster than state-of-the-art linear programming based method, but also provides sharper bounds.

연구 동기 및 목표

• 딥 신경망에서 전역 및 국소 리프시츠 상수를 효율적이고 정확하게 추정하는 문제를 해결하기 위해.
• 대부분의 공격에 대한 강건성 및 워샤프스키 GAN에서의 훈련 안정성 향상을 위해.
• 기존의 선형 프로그래밍 기반 접근 방식에 비해 속도와 경계 날카움 모두에서 뛰어난 성능을 보이는 확장 가능한 최적화 프레임워크를 개발하기 위해.
• 특히 ReLU 활성화 함수를 포함하는 딥러닝에서 발생하는 거의 희박한 문제에 다항식 최적화 기법을 확장하기 위해.

제안 방법

• 이 방법은 ReLU 함수와 그 도함수들을 더 높은 차원의 다항식 공간에 표현하기 위해 다항식 리프팅 기법을 활용한다.
• 리프시츠 추정에 필요한 비음수 다항식 조건을 다루기 위해 Putinar의 양성 증명을 약하게 일반화한다.
• 리프시츠 상수에 대한 상한을 체계적으로 강화하기 위해 정수형 프로그래밍(SDP) 계층을 구성한다.
• 네트워크 구조의 희박성 패턴을 활용하여 깊은 네트워크에서도 효율적인 계산이 가능하도록 설계되어 있다.
• 리프시츠 상수 추정 문제를 다항식 최적화 문제로 공식화하고, 볼록 완화를 통해 해결할 수 있도록 한다.
• 최적화 공식화에서 관심 영역을 변화시킴으로써 전역 및 국소 리프시츠 상수 추정을 모두 가능하게 한다.

실험 결과

연구 질문

• RQ1 정수형 프로그래밍 기반 다항식 최적화 프레임워크는 기존의 선형 프로그래밍 기반 방법에 비해 더 날카운 리프시츠 상수 추정을 더 빠르고 정확하게 수행할 수 있는가?
• RQ2 다항식 리프팅과 일반화된 양성 증명은 비연속 활성화 함수를 포함하는 ReLU 기반 딥 네트워크에 얼마나 효과적으로 적용될 수 있는가?
• RQ3 이러한 방법은 깊이가 깊고 넓이가 넓은 네트워크 아키텍처에 얼마나 잘 스케일업될 수 있으며, 계산 효율성을 유지하는가?
• RQ4 이 방법은 국소 리프시츠 상수를 계산하는 데에 적응 가능할 수 있는가? 이는 국소 강건성 분석에 매우 중요하다.
• RQ5 실제로 최첨단 방법과 비교했을 때, 이 방법은 경계 날카움과 런타임 성능 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 최첨단 선형 프로그래밍 기반 접근 방식에 비해 상당히 날카운 리프시츠 경계를 달성한다.
• 기존의 선형 프로그래밍 방법보다 더 빠른 실행 속도를 보이며, 벤치마크 네트워크에서 계산 효율성 향상을 입증한다.
• 다항식 리프팅과 일반화된 Putinar 증명의 사용은 최적화 프레임워크 내에서 ReLU 도함수를 효과적으로 처리할 수 있도록 한다.
• SDP 계층은 경계를 개선하는 체계적인 방법을 제공하며, 계층 수준이 높아질수록 더 날카운 추정치로 수렴한다.
• 실험 결과는 이 방법이 강건성 및 GAN 응용 분야에서 널리 사용되는 표준 딥러닝 아키텍처에서 확장 가능하고 효과적임을 확인한다.