[논문 리뷰] Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks

Yusuke Tsuzuku, Issei Sato외 1명|arXiv (Cornell University)|2018. 02. 12.

Model Reduction and Neural Networks인용 수 76

한 줄 요약

이 논문은 Lipschitz-Margin Training (LMT)을 도입하여 촘촘하고 확장 가능한 Lipschitz 기반 경계를 계산하고 데이터 주변의 보증 가능한 불변 영역을 확대하여 대형 신경망에 대한 강건한 인증을 가능하게 한다.

ABSTRACT

High sensitivity of neural networks against malicious perturbations on inputs causes security concerns. To take a steady step towards robust classifiers, we aim to create neural network models provably defended from perturbations. Prior certification work requires strong assumptions on network structures and massive computational costs, and thus the range of their applications was limited. From the relationship between the Lipschitz constants and prediction margins, we present a computationally efficient calculation technique to lower-bound the size of adversarial perturbations that can deceive networks, and that is widely applicable to various complicated networks. Moreover, we propose an efficient training procedure that robustifies networks and significantly improves the provably guarded areas around data points. In experimental evaluations, our method showed its ability to provide a non-trivial guarantee and enhance robustness for even large networks.

연구 동기 및 목표

• 딥 네트워크에 대한 적대적 교란에 대한 인증 가능한 강건성의 동기를 부여한다.
• 복잡한 아키텍처에서 네트워크를 속일 수 있는 교란 크기를 하한하는 확장 가능한 방법을 개발한다.
• 데이터 포인트 주변의 입증 가능한 보호 영역을 확대하는 학습 절차를 제안한다.
• 다양한 네트워크 구조에 걸쳐 실용적인 Lipschitz 상수 한계와 효율적인 인증 워크플로를 제공한다.

제안 방법

• Lipschitz 상수를 예측 여백과 연관시켜 적대적 교란의 상한을 구한다(정리 1 및 정리 2).
• 대형/복합 아키텍처에서 신경망 Lipschitz 상수의 상한을 통합적이고 미분 가능하게 계산한다.
• Lipschitz-margin training (LMT)을 도입하여 예측 로짓에 Lipschitz 한계의 추정에 비례하는 인자로 수정하여 보장된 영역을 확대한다(식 4).
• 학습 시점에 선형 구성요소의 연산자 노름(스펙트럴 노름)을 추정하는 효율적이고 미분 가능한 절차를 제공한다(알고리즘 2).
• 합성, 덧셈, 연결 규칙을 사용하여 네트워크 구성요소를 통해 Lipschitz 경계를 합산해 전역 경계를 얻는다(정리 2 및 코롤로리).
• 학습 절차가 강건성을 향상시키며 비용은 배치 크기 증가에 준하는 정도임을 보여준다.

실험 결과

연구 질문

• RQ1 Lipschitz 상수를 대형의 현대식 네트워크에 대해 효율적으로 상한하여 교란 불변성을 인증할 수 있는가?
• RQ2 Lipschitz 한계와 관련된 여백을 강제하는 학습 절차가 깨끗한 데이터의 정확도를 희생하지 않고 입증 가능한 보호 영역을 확대하는가?
• RQ3 제안된 경계가 네트워크 규모에 걸쳐 이전의 인증 방법에 비해 촘촘성과 실행 가능성 면에서 어떻게 비교되는가?
• RQ4 대형 네트워크(예: 넓은 잔차 네트워크)에서도 방법이 확장 가능하며 의미 있는 강건성 인증을 제공하는가?

주요 결과

• 저자들은 주요 네트워크 구성요소(합성, 배치 정규화, 풀링, 활성화 함수)에 대해 더 타이트하고 통합된 Lipschitz 경계를 도출하고 이를 미분 가능하게 학습 시 근사한다.
• Lipschitz-margin training (LMT)는 Lipschitz 경계와 섭동 반경 c에 대한 함수보다 큰 여백을 강제하여 데이터 포인트 주변의 입증 가능한 보호 영역을 확장한다.
• 실험은 SVHN에서 작은 네트워크와 큰 16층 와이드 잔차 네트워크에 대해 인증의 촘촘성 및 강건성을 기존의 규제 방법과 비교해 향상시켰다.
• LMT는 l2-노름에서 의미 있는 인증된 섭동 영역을 제공하고, 여러 경우에 대해 유사한 아키텍처에 대해 이전의 계산적으로 저렴한 방법보다 더 큰 보호 영역을 제공한다.
• C&W 유형의 공격 하에서 LMT로 학습된 모델은 가중치 감소, Parseval 네트워크, 또는 스펙트럼 노름 정규화보다 섭동 하에서 더 높은 정확도를 유지하며, 특히 더 큰 섭동 반경에서 강건성 이득이 두드러진다.