[논문 리뷰] Efficient and Accurate Estimation of Lipschitz Constants for Deep Neural Networks

Mahyar Fazlyab, Alexander Robey외 3명|arXiv (Cornell University)|2019. 06. 11.

Adversarial Robustness in Machine Learning인용 수 108

한 줄 요약

LipSDP를 제시하는 것은, 활성화를 2차 제약으로 모델링하여 심볼릭 제약을 통해 깊은 신경망에 대한 엄밀한 전역 Lipschitz 경계를 산출하는 볼록 형태의 Semidefinite Programming 프레임워크로, 확장 가능한 변형 및 분산 구현을 제공한다.

ABSTRACT

Tight estimation of the Lipschitz constant for deep neural networks (DNNs) is useful in many applications ranging from robustness certification of classifiers to stability analysis of closed-loop systems with reinforcement learning controllers. Existing methods in the literature for estimating the Lipschitz constant suffer from either lack of accuracy or poor scalability. In this paper, we present a convex optimization framework to compute guaranteed upper bounds on the Lipschitz constant of DNNs both accurately and efficiently. Our main idea is to interpret activation functions as gradients of convex potential functions. Hence, they satisfy certain properties that can be described by quadratic constraints. This particular description allows us to pose the Lipschitz constant estimation problem as a semidefinite program (SDP). The resulting SDP can be adapted to increase either the estimation accuracy (by capturing the interaction between activation functions of different layers) or scalability (by decomposition and parallel implementation). We illustrate the utility of our approach with a variety of experiments on randomly generated networks and on classifiers trained on the MNIST and Iris datasets. In particular, we experimentally demonstrate that our Lipschitz bounds are the most accurate compared to those in the literature. We also study the impact of adversarial training methods on the Lipschitz bounds of the resulting classifiers and show that our bounds can be used to efficiently provide robustness guarantees.

연구 동기 및 목표

• 딥 뉴럴 네트워크에 대한 전역 Lipschitz 상수의 촘촘하고 확장 가능한 추정의 필요성을 제시한다.
• Lipschitz 상수에 대한 보장된 상한을 제공하는 볼록 최적화 프레임워크를 개발한다.
• 활성화 함수의 성질을 2차 제약으로 포착하여 SDP 형식을 가능하게 한다.
• 추정 정확성과 계산적 확장성 간의 균형을 이루는 변형들을 제공한다.
• 학습 보강 시스템에서의 강건성 인증 및 안정성 분석에의 적용 가능성을 시연한다.

제안 방법

• 활성 함수들을 볼록 포텐셜의 그래디언트로 해석하여 2차 제약을 도출한다.
• LipSDP라 불리는 Lipschitz 추정을 SDP로 형식화한다.
• 단일 계층 및 다계층 LipSDP 형식을 도입하고, 정확도와 확장성을 제어하는 의사결정 변수들을 도입한다.
• 대형 네트워크를 위한 뉴런, Layer 계층의 Relaxation 계층 및 병렬화 전략의 계층과 병렬화 전략의 도입을 제안한다.
• 네트워크를 부분 네트워크로 분할하여 분산 구현을 제공함으로써 확장성을 보존한다.
• 고정점을 사용할 때 경계를 더 촘촘하게 다듬기 위해 반복 활성 함수를 활용한 정교화를 제안한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크의 전역 Lipschitz 상수에 대해 보장된 상한을 제공하는 볼록 SDP 프레임워크가 가능할까?
• RQ2 활성화 비선형성을 2차 제약으로 인코딩하여 확장 가능한 Lipschitz 추정을 가능하게 할 수 있을까?
• RQ3 LipSDP 변형들 간의 정확도와 확장성 사이의 트레이드오프는 어떠하며 실제 데이터셋에서 어떻게 작동하는가?
• RQ4 강건한 학습은 분류기의 Lipschitz 경계와 강건성 보장에 어떤 영향을 미치는가?
• RQ5 프레임워크가 다층 네트워크와 유클리드 노름 외의 다른 노름으로 확장될 수 있는가?

주요 결과

• LipSDP는 테스트된 네트워크들에서 기존 방법들보다 상당히 더 촘촘한 Lipschitz 경계를 제공한다.
• MNIST-분류기 네트워크의 경우 LipSDP 경계가 거의 실제 Lipschitz 상수에 근접하고 유사한 방법들보다 성능이 우수하다.
• 강건한 학습 절차(LP-Train, PGD-Train)는 Lipschitz 경계를 감소시켜 더 나은 강건성을 시사한다.
• 분산/부분 네트워크 접근 방식은 대형 네트워크의 확장성을 크게 개선하면서도 경계 품질을 희생하지 않는다.
• 경계가 최소 적대적 교란에 대한 비공허한 하한을 도출하는 데 사용할 수 있음을 보였다.