[논문 리뷰] Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation

Zhouxing Shi, Yihan Wang외 3명|arXiv (Cornell University)|2022. 10. 13.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 클라크 야코비안의 고차 후방 계산 그래프에서 선형 경계 전파를 사용하여 신경망의 효율적인 강한 $ε_{ ext{∞}}$ 국소 리프시츠 상수를 계산하기 위한 확장 가능한 프레임워크를 제안한다. 비선형성 기울기의 날카운 비용 폐쇄형 선형 근사화를 유도하고 Branch-and-Bound와 통합함으로써, 기존 방법보다 더 강한 타이트함과 확장성을 달성하여 대규모 모델, 특히 실용적인 CNN에서도 승리한다.

ABSTRACT

Lipschitz constants are connected to many properties of neural networks, such as robustness, fairness, and generalization. Existing methods for computing Lipschitz constants either produce relatively loose upper bounds or are limited to small networks. In this paper, we develop an efficient framework for computing the $\ell_\infty$ local Lipschitz constant of a neural network by tightly upper bounding the norm of Clarke Jacobian via linear bound propagation. We formulate the computation of local Lipschitz constants with a linear bound propagation process on a high-order backward graph induced by the chain rule of Clarke Jacobian. To enable linear bound propagation, we derive tight linear relaxations for specific nonlinearities in Clarke Jacobian. This formulate unifies existing ad-hoc approaches such as RecurJac, which can be seen as a special case of ours with weaker relaxations. The bound propagation framework also allows us to easily borrow the popular Branch-and-Bound (BaB) approach from neural network verification to further tighten Lipschitz constants. Experiments show that on tiny models, our method produces comparable bounds compared to exact methods that cannot scale to slightly larger models; on larger models, our method efficiently produces tighter results than existing relaxed or naive methods, and our method scales to much larger practical models that previous works could not handle. We also demonstrate an application on provable monotonicity analysis. Code is available at https://github.com/shizhouxing/Local-Lipschitz-Constants.

연구 동기 및 목표

• 대규모 신경망에서 국소 리프시츠 상수를 계산하는 확장 가능하고 강한 방법의 부족을 해결하기 위해.
• 기존의 RecurJac와 같은 접근 방식들을 원칙적인 경계 전파 프레임워크 아래 통합하고 일반화하기 위해.
• 보다 강력한 검증 기법, 예를 들어 Branch-and-Bound를 활용하여 경계를 추가로 타이트닝할 수 있도록 하기 위해.
• 기존에는 계산이 불가능했던 실용적이고 대규모 모델, 특히 컨volutional 네트워크까지 국소 리프시츠 상수 계산을 확장하기 위해.
• 강한 국소 리프시츠 상수의 실용적 유용성을 입증하기 위해, 예를 들어 증명 가능한 단조성 분석과 같은 응용 분야에서의 기여를 위해.

제안 방법

• 체인 규칙에서 유도된 고차 후방 계산 그래프를 기반으로, 클라크 야코비안의 $\ell_{\infty}$ 노름을 상한으로 제한함으로써 국소 리프시츠 상수 계산을 공식화한다.
• 최적성 보장을 갖춘 날카운 비용 폐쇄형 선형 근사화를 도입하여 클라크 기울기의 근사화를 가능하게 하며, 후방 그래프에서 효율적인 선형 경계 전파를 가능하게 한다.
• 비선형성 기울기를 복합 함수로 간주하고, 특수한 근사화 기법을 적용하여 후방 그래프를 통해 경계를 전파한다.
• RecurJac를 더 느슨한 간격 경계를 사용하는 더 느슨한 선형 근사화를 사용한 특수한 경우로 재해석한다.
• 신경망 검증에서 유래한 Branch-and-Bound(BaB) 기법을 통합하여, 계산 예산이 허락할 경우 경계를 더욱 타이트하게 조정하며, 정확도와 계산 시간 간의 튜닝 가능한 트레이드오프를 제공한다.
• 확장성을 확보하기 위해 GPU 가속 선형 경계 전파를 활용하여 대규모 실용적 모델에 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망 검증에서 유래한 선형 경계 전파 기법을 강한 국소 리프시츠 상수 계산에 적응시킬 수 있는가?
• RQ2 클라크 야코비안의 노름을 비선형 구성 요소의 선형 근사화를 통해 효율적이고 강하게 경계 지을 수 있는가?
• RQ3 제안된 프레임워크는 기존 방법이 실패하는 대규모 실용적 딥 신경망, 특히 컨volutional 아키텍처까지 확장 가능한가?
• RQ4 Branch-and-Bound의 통합이 계산된 리프시츠 경계를 얼마나 더 타이트하게 만들 수 있는가?
• RQ5 계산된 국소 리프시츠 상수가 증명 가능한 단조성 분석과 같은 새로운 응용 분야를 가능하게 할 수 있는가?

주요 결과

• 작은 모델에서는 정확한 MIP 기반 방법과 유사한 경계를 생성하지만, 이는 더 큰 네트워크에서는 비가능하다.
• 더 큰 모델에서는 기존의 느슨한 또는 난이도 높은 방법보다 더 강한 경계를 달성하면서도 높은 효율성과 확장성을 유지한다.
• 이 방법은 이전에는 계산이 불가능했던 대규모 실용적 컨volutional 신경망까지 성공적으로 확장하였다.
• Branch-and-Bound 통합으로 인해 경계가 추가로 타이트해지며, 정확도와 계산 시간 간의 튜닝 가능한 트레이드오프를 제공한다.
• 이 방법은 신경망의 증명 가능한 단조성 분석을 가능하게 하여, 안정성 및 일반화를 넘어서 실용적 유용성을 입증한다.
• 제안된 클라크 기울기 선형 근사화는 타이트함에서 최적이며, 더 느슨한 경계를 사용할 경우 RecurJac와 정확히 동일한 결과를 도출함으로써 이전의 접근 방식들을 통합한다.