[논문 리뷰] Towards Fast Computation of Certified Robustness for ReLU Networks

Tsui-Wei Weng, Huan Zhang외 6명|arXiv (Cornell University)|2018. 04. 25.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 152

한 줄 요약

본 논문은 ReLU 네트워크에 대해 최소 적대적 왜곡의 인증된 하한을 계산하기 위해 두 가지 빠른 알고리즘 Fast-Lin과 Fast-Lip을 도입하며, 기존의 정확한 방법들보다 훨씬 빠르고 더 촘촘한 보장을 제공한다.

ABSTRACT

Verifying the robustness property of a general Rectified Linear Unit (ReLU) network is an NP-complete problem [Katz, Barrett, Dill, Julian and Kochenderfer CAV17]. Although finding the exact minimum adversarial distortion is hard, giving a certified lower bound of the minimum distortion is possible. Current available methods of computing such a bound are either time-consuming or delivering low quality bounds that are too loose to be useful. In this paper, we exploit the special structure of ReLU networks and provide two computationally efficient algorithms Fast-Lin and Fast-Lip that are able to certify non-trivial lower bounds of minimum distortions, by bounding the ReLU units with appropriate linear functions Fast-Lin, or by bounding the local Lipschitz constant Fast-Lip. Experiments show that (1) our proposed methods deliver bounds close to (the gap is 2-3X) exact minimum distortion found by Reluplex in small MNIST networks while our algorithms are more than 10,000 times faster; (2) our methods deliver similar quality of bounds (the gap is within 35% and usually around 10%; sometimes our bounds are even better) for larger networks compared to the methods based on solving linear programming problems but our algorithms are 33-14,000 times faster; (3) our method is capable of solving large MNIST and CIFAR networks up to 7 layers with more than 10,000 neurons within tens of seconds on a single CPU core. In addition, we show that, in fact, there is no polynomial time algorithm that can approximately find the minimum $\ell_1$ adversarial distortion of a ReLU network with a $0.99\ln n$ approximation ratio unless $\mathsf{NP}$=$\mathsf{P}$, where $n$ is the number of neurons in the network.

연구 동기 및 목표

• ReLU 네트워크의 인증된 강건성 검증 필요성을 동기화하고 정확한 최소 왜곡의 NP-난이도 문제를 다룬다.
• 실용적 네트워크 크기에 대해 빠르고 인증된 최소 적대적 왜곡의 하한을 제공한다.
• ReLU 구조를 활용하여 보장 가능한 확장 가능한 경계 기법을 도출한다.

제안 방법

• ReLU 활성화에 대한 명시적 선형 상한/하한을 사용하여 한정된 섭동 하에서 인증된 출력 하한을 얻기 위해 Fast-Lin을 개발한다.
• 로컬 리프시츠 상한를 상한화하여 왜곡의 하한을 인증하는 Fast-Lip을 개발한다.
• 활성화 패턴 구분과 각 층에서 정확한 해석적 경계를 표현하기 위한 행렬을 구성한다.
• SMT/MILP 솔버를 피하고 다항 시간 계산이 가능한 닫힌 형식의 층별 경계를 제공한다.
• 섭동 반경에 대한 이분 탐색을 사용하여 출력 경계에서 최대 인증 하한을 얻는다.

실험 결과

연구 질문

• RQ1 ReLU 네트워크에서 확장성 있게 효율적으로 비트리비얼한 인증된 최소 왜곡의 하한을 계산할 수 있는가?
• RQ2 Fast bounding 방법이 Reluplex 및 LP 기반 접근법에 비해 정확한 최소 왜곡에 얼마나 근접할 수 있는가?
• RQ3 ReLU 네트워크에서 L1 강건성에 대한 촘촘한 근사 보장을 얻는 이론적 난이도는 무엇인가?
• RQ4 ReLU 활성화 구조를 어떻게 활용하여 확장 가능하고 검증 가능한 강건성 증명을 도출할 수 있는가?

주요 결과

• Fast-Lin의 하한과 Reluplex가 발견한 정확한 최소 왜곡 간의 차이는 작은 네트워크에서 2-3배이며, 속도는 10,000배 이상 빠르다.
• Fast-Lin은 더 큰 네트워크에서 LP 기반 방법과 비교해 유사한 경계 품질을 제공하며 차이가 대략 35% 이내 또는 보통 약 10% 내에서 33–14,000배 더 빠르다.
• Fast-Lip은 로컬 리프시츠 상한을 상한화하여 인증된 하한을 제공하며 최대 7층 네트워크 및 수만 개의 뉴런에서도 CPU에서 수초 내에 확장 가능한 인증이 가능하다.
• 이 방법은 대형 MNIST 및 CIFAR 네트워크에 대해 다항 시간 계산을 활용하므로 SMT/MILP 솔버와 달리 대규모 네트워크의 경계 계산이 가능하다.