[논문 리뷰] Lipschitz regularity of deep neural networks: analysis and efficient estimation

Kevin Scaman, Aladin Virmaux|arXiv (Cornell University)|2018. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 135

한 줄 요약

본 논문은 신경망에 대한 정확한 Lipschitz 계산이 NP-hard임을 증명하고, 자동 미분 가능한 함수의 Lipschitz 상한을 효율적으로 구하는 AutoLip과 SeqLip를 도입하여 실험에서 SeqLip이 다양한 아키텍처에서 AutoLip의 상한을 크게 개선함을 보이고, PyTorch 구현도 동반 제공.

ABSTRACT

Deep neural networks are notorious for being sensitive to small well-chosen perturbations, and estimating the regularity of such architectures is of utmost importance for safe and robust practical applications. In this paper, we investigate one of the key characteristics to assess the regularity of such methods: the Lipschitz constant of deep learning architectures. First, we show that, even for two layer neural networks, the exact computation of this quantity is NP-hard and state-of-art methods may significantly overestimate it. Then, we both extend and improve previous estimation methods by providing AutoLip, the first generic algorithm for upper bounding the Lipschitz constant of any automatically differentiable function. We provide a power method algorithm working with automatic differentiation, allowing efficient computations even on large convolutions. Second, for sequential neural networks, we propose an improved algorithm named SeqLip that takes advantage of the linear computation graph to split the computation per pair of consecutive layers. Third we propose heuristics on SeqLip in order to tackle very large networks. Our experiments show that SeqLip can significantly improve on the existing upper bounds. Finally, we provide an implementation of AutoLip in the PyTorch environment that may be used to better estimate the robustness of a given neural network to small perturbations or regularize it using more precise Lipschitz estimations.

연구 동기 및 목표

• 신경망 강건성의 척도로서 Lipschitz 정규화의 동기를 제시하고 형식화한다.
• 단순한 네트워크에도 불구하고 정확한 Lipschitz 상수 계산의 NP-hardness를 증명한다.
• 자동 미분 가능한 함수에 대한 실용적인 상한 추정기 AutoLip과 SeqLip을 개발한다.
• Lipschitz 경계를 계산하기 위한 효율적이고 미분 가능한 그래프 호환 구현을 제공한다.
• 일반적인 아키텍처에서 방법을 평가하고 오픈 소스 PyTorch 구현을 제공한다.

제안 방법

• 벡터 값 함수의 Lipschitz 상수를 정의하고 이를 Jacobian의 연산자 노름과 관련시키기 (Rademacher’s theorem에 기초).
• ReLU를 가진 2-층 MLP에 대한 정확한 Lipschitz 계산의 NP-hardness를 보이고, 상한 방법의 필요성을 동기부여한다.
• AutoLip 도입: 계산 그래프를 통한 자동 미분을 이용해 L(f)를 상한하는 알고리즘(Alg. 1).
• 선형/합성곱 계층의 스펙트럴 노름을 autograd로 계산하기 위한 거듭제곱 방법 기반 접근법(Alg. 2)을 확장한다.
• SeqLip 개발: 계층별로 계산 그래프를 분할하고 SVD 기반 분해(Eq. 8)를 이용해 순차 네트워크에 대한 개선된 상한을 제시한다.
• 큰 계층의 복잡도 관리 위한 그리디 SeqLip과 저랭크 근사(저랭크 근사치) 제안을 제시하고 이론적 직관과 경계(Theorem 3)를 제공한다.
• 일반 계층(활성화, 풀링, 정규화)에 대한 구체적 Lipschitz 상수를 논의하고 구현에 대한 실용적 주석을 제공한다.

실험 결과

연구 질문

• RQ1 신경망의 정확한 Lipschitz 상수가 다항 시간에 계산 가능한가?
• RQ2 신경망처럼 자동 미분 가능한 함수의 Lipschitz 상수를 어떻게 상한할 수 있는가?
• RQ3 순차 네트워크에 대한 기존 Lipschitz 상한을 단순한 계층별 곱을 넘어서 개선할 수 있는가?
• RQ4 AutoLip과 SeqLip의 성능은 표준 아키텍처(MLP, CNN, AlexNet)에서 어떠하며 PyTorch로 구현할 수 있는가?
• RQ5 SeqLip이 AutoLip에 비해 실질적 개선을 제공하는 경우를 설명하는 이론적 보장은 무엇인가?

주요 결과

• 정확한 Lipschitz 계산은 ReLU 활성화를 갖는 간단한 2-층 MLP에서도 NP-hard이다.
• AutoLip은 임의의 자동으로 미분 가능한 함수의 Lipschitz 상수에 대한 일반적인 상한을 제공한다.
• SeqLip은 계산 그래프 구조와 계층별 분해를 활용하여 순차 네트워크에 대해 더 촘촘한 상한을 제공한다.
• SeqLip은 실제로 AutoLip 상한을 상당히 조밀하게 조정할 수 있으며, 때로는 MLP 및 CNN에서 최대 8배까지 개선된다.
• AlexNet과 같은 아키텍처에서 AutoLip은 매우 큰 상한을 나타내는 반면 SeqLip은 상당한 감소를 달성할 수 있다.
• 작은 섭동에 대한 네트워크 강건성을 추정하기 위한 오픈 소스 PyTorch 구현(lipEstimation)이 제공된다.