[논문 리뷰] Exactly Computing the Local Lipschitz Constant of ReLU Networks

Matt Jordan, Alexandros G. Dimakis|arXiv (Cornell University)|2020. 03. 02.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 26

한 줄 요약

이 논문은 혼합정수계획법(MIP)을 사용하여 ℓ₁ 및 ℓ∞ 노름 하에서 ReLU 신경망의 국소 리프시츠 상수를 계산하는 최초의 정확한 방법인 LipMIP를 제시한다. 일반화된 야코비안과 리프시츠 상수 간의 이론적 기반을 구축하고, 입력 차원에 거의 선형적으로 비례하는 요인 내에서 상수를 근사하는 것이 매우 어렵다는 강력한 근사불가능성 결과를 입증한다. 이 방법은 리프시츠 추정기의 정확한 평가를 가능하게 하며, 아키텍처와 정규화가 강건성에 미치는 영향을 드러낸다.

ABSTRACT

The local Lipschitz constant of a neural network is a useful metric with applications in robustness, generalization, and fairness evaluation. We provide novel analytic results relating the local Lipschitz constant of nonsmooth vector-valued functions to a maximization over the norm of the generalized Jacobian. We present a sufficient condition for which backpropagation always returns an element of the generalized Jacobian, and reframe the problem over this broad class of functions. We show strong inapproximability results for estimating Lipschitz constants of ReLU networks, and then formulate an algorithm to compute these quantities exactly. We leverage this algorithm to evaluate the tightness of competing Lipschitz estimators and the effects of regularized training on the Lipschitz constant.

연구 동기 및 목표

• 리프시츠 상수가 강건성, 일반화 및 공정성 평가에 핵심적인 역할을 하므로, ReLU 네트워크의 국소 리프시츠 상수를 정확하게 계산하는 방법을 제공하는 것.
• 비미분 가능하고 다중출력 ReLU 네트워크에서 리프시츠 상수를 추정하기 위한 정확한 방법의 부족을 해결하는 것.
• ℓ₁ 및 ℓ∞ 노름 하에서 리프시츠 상수의 근사 가능성을 이론적으로 한계를 설정하고, 강력한 근사불가능성 결과를 입증하는 것.
• 기존 히ュ리스틱 및 상한 추정기의 정확도를 진정한 정확한 값과 비교하여 타당성 평가하는 것.
• 정확한 계산을 통해 네트워크 아키텍처와 정규화가 리프시츠 상수에 미치는 영향을 분석하는 것.

제안 방법

• 논문은 일반화된 야코비안의 원소들에 대한 초위상 노름의 최대값으로 국소 리프시츠 상수를 최적화 문제로 재정의하여, 비미분 가능하고 벡터값 함수에 대한 고전적 결과를 확장한다.
• 표준 백프로파게이션 체인 룰이 항상 일반화된 야코비안의 원소를 도출할 수 있는 충분조건을 제안하여 정확한 계산을 가능하게 한다.
• 제안된 방법인 LipMIP는 혼합정수계획법(MIP)을 사용하여 다각형 영역에서 국소 리프시츠 상수를 정확히 계산하며, MIP 솔버를 활용해 최적화 문제를 해결한다.
• 효율성과 정확성의 균형을 위해, 지정된 정수성 갭에서 조기 정지하는 LipMIP의 완화된 변형과, 선형계획법(LP) 근사를 제공하는 LipLP를 도입한다.
• ℓ₁, ℓ∞ 및 다중클래스 강건성 검증을 위한 크로스노름을 포함한 다양한 노름을 지원한다.
• MNIST 및 합성 데이터셋에서 검증되었으며, 다양한 아키텍처와 정규화 기법에서 다양한 추정기들과의 비교를 통해 결과를 분석하였다.

실험 결과

연구 질문

• RQ1 ℓ₁ 및 ℓ∞ 노름 하에서 ReLU 네트워크의 국소 리프시츠 상수를 정확히 계산하는 것이 가능한가? 만약 가능하다면, 어떻게 수행할 수 있는가?
• RQ2 ReLU 네트워크의 리프시츠 상수를 근사하는 데 있어 이론적 한계는 무엇이며, 조건수 요인 근사조차도 얼마나 어려운가?
• RQ3 다양한 정규화 기법과 네트워크 아키텍처는 실제 리프시츠 상수에 어떤 영향을 미치며, 이러한 영향은 신뢰성 있게 측정할 수 있는가?
• RQ4 기존의 히ュ리스틱 및 상한 추정기의 정확도는 진정한 정확한 값과 비교해 얼마나 타당한가?
• RQ5 MIP를 통한 정확한 계산을 활용하여 딥러닝 모델의 강건성 인증 및 공정성 지표를 검증하고 개선할 수 있는가?

주요 결과

• 논문은 입력 차원에 거의 선형적으로 비례하는 요인 내에서 스칼라값 ReLU 네트워크의 국소 리프시츠 상수를 근사하는 것이 강력하게 근사불가능하다는 것을 증명한다.
• LipMIP는 ℓ₁ 및 ℓ∞ 노름 하에서 ReLU 네트워크의 정확한 국소 리프시츠 상수를 성공적으로 계산하였으며, MNIST 및 합성 데이터셋에서 결과가 검증되었다.
• 선형계획법 근사(LipLP)는 무작위 네트워크에서 상대 오차가 +462.26%이며, 합성 데이터셋에서는 +389.80%를 기록하여 상당한 느슨함을 보였다.
• LipMIP를 1% 정수성 갭에서 조기 정지하면, 무작위 네트워크에서 상대 오차가 0.72%로 감소하고, 합성 데이터셋에서는 0.57%로 줄어들어 빠른 성능 향상과 함께 거의 최적의 경계를 확보하였다.
• 실험 결과에서 고급 추정기인 LipSDP조차도 실제 상수를 크게 과대평가하여 실용적으로 타당한 경계를 제공하지 못하는 것으로 나타났다.
• 이 연구는 정규화와 아키텍처 선택이 리프시츠 상수에 측정 가능하고 정량화 가능한 영향을 미친다는 것을 드러내었으며, 이제 이러한 영향을 정확한 방법을 통해 연구할 수 있게 되었다.