[논문 리뷰] Provable Robustness of ReLU networks via Maximization of Linear Regions

Francesco Croce, Maksym Andriushchenko외 1명|arXiv (Cornell University)|2018. 10. 17.

Adversarial Robustness in Machine Learning인용 수 72

한 줄 요약

본 논문은 ReLU 네트워크에 대해 Maximum Margin Regularizer (MMR)를 도입하여 선형 영역을 확장하고 결정 경계까지의 거리를 늘려, 증명 가능한 강건성 보장과 함께 강건성 경계가 향상되고 경쟁력 있는 정확도를 제공한다.

ABSTRACT

It has been shown that neural network classifiers are not robust. This raises concerns about their usage in safety-critical systems. We propose in this paper a regularization scheme for ReLU networks which provably improves the robustness of the classifier by maximizing the linear regions of the classifier as well as the distance to the decision boundary. Our techniques allow even to find the minimal adversarial perturbation for a fraction of test points for large networks. In the experiments we show that our approach improves upon adversarial training both in terms of lower and upper bounds on the robustness and is comparable or better than the state-of-the-art in terms of test error and robustness.

연구 동기 및 목표

• 안전-critical 설정에서 신경망의 강건성 보장을 동기화한다.
• ReLU 네트워크에서 선형 영역의 크기와 결정 경계까지의 거리를 증가시키는 규제 체계를 개발한다.
• 계산 가능한 하방/상방 강건성 경계와 적대적 학습과의 통합을 제공한다.
• 여러 데이터셋과 아키텍처에 걸쳐 증명 가능한 강건성과 검증 가능성을 개선되었음을 입증한다.

제안 방법

• ReLU 네트워크를 연속적 분절적 선형 함수로 표현하고 그 선형 영역 Q(x)를 기술한다.
• 영역 경계까지의 거리 d_B(x)와 결정 경계까지의 거리 d_D(x)를 영역별 선형 매핑 V^{(l)}와 a^{(l)}를 사용하여 정의한다.
• 강건성 보장을 도출한다: d_B(x)가 d_D(x) 이하일 때 최소 교란의 하한인 반면, d_D(x)가 d_B(x) 이하일 때 d_D(x)는 최소 교란의 상한이 된다.
• 방금 (5)와 같이 영역 경계에 가까움과 결정 경계에 가까움에 대한 페널티를 결합한 Maximum Margin Regularizer (MMR)을 도입한다.
• 학습 속도를 높이기 위해 k개에 가장 가까운 영역과 결정 초평면의 평균을 내는 실용적 변형인 kMMR을 제공한다.
• 표준 교차 엔트로피 손실에 λ·MMR(x)를 더해 학습하여 증명 가능한 강건 분류기를 얻는다.
• MMR이 혼합 정수 계획 인증에 적합한 모델을 만들어 검증 가능성을 높임으로써 verifiability를 향상시킨다고 주장한다.

실험 결과

연구 질문

• RQ1 ReLU 네트워크의 강건성을 선형 영역 경계와 결정 경계까지의 거리 측면에서 어떻게 정량화할 수 있는가?
• RQ2 이 기하학적 거리들로 규제하는 것이 적대적 교란에 대한 증명 가능한 하한/상한을 산출할 수 있는가?
• RQ3 Maxium Margin Regularization이 네트워크의 실험적 강건성과 인증 가능성(verifiability)을 모두 향상시키는가?
• RQ4 MMR이 일반적인 노름(l2, l∞)에서 강건성 보장을 강화하기 위해 적대적 학습과 어떻게 상호 작용하는가?

주요 결과

• MMR은 규제 없이 학습된 네트워크에 비해 학습된 네트워크의 선형 영역 크기를 상당히 확대한다.
• 제시된 강건성 보장(정리 3.1)은 많은 입력에 대해 최소 교란의 계산 가능한 하한과 상한을 제공하여 인증 가능성을 향상시킨다.
• MMR(및 적대적 학습과 결합된 MMR)은 MNIST, GTS, Fashion-MNIST, CIFAR-10에서 여러 이전 방법들보다 더 촘촘한 증명 가능한 강건성 경계를 제공한다.
• MMR 모델은 MIP으로 인증하는 데 훨씬 빠르며, 많은 설정에서 거의 완전한 인증 가능성을 보인다(일부 방법과 달리 평범한 방법은 그렇지 않다).
• 실험적으로, MMR은 강건성 경계와 테스트 정확도를 모두 개선하고 KW나 Xiao 등과 같은 방법보다 검증 가능성을 높인다.