[논문 리뷰] Provably Minimally-Distorted Adversarial Examples

Nicholas Carlini, Guy Katz외 2명|arXiv (Cornell University)|2017. 09. 29.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 100

한 줄 요약

본 논문은 형식적 검증(Reluplex)을 이용해 증명 가능한 최소 왜곡으로 적대적 예제를 구성하고 공격과 방어를 평가한다. CW 공격이 거의 최적에 근접하고 소형 네트워크의 MNIST에서 적대적 학습이 강건성을 크게 증가시킨다.

ABSTRACT

The ability to deploy neural networks in real-world, safety-critical systems is severely limited by the presence of adversarial examples: slightly perturbed inputs that are misclassified by the network. In recent years, several techniques have been proposed for increasing robustness to adversarial examples --- and yet most of these have been quickly shown to be vulnerable to future attacks. For example, over half of the defenses proposed by papers accepted at ICLR 2018 have already been broken. We propose to address this difficulty through formal verification techniques. We show how to construct provably minimally distorted adversarial examples: given an arbitrary neural network and input sample, we can construct adversarial examples which we prove are of minimal distortion. Using this approach, we demonstrate that one of the recent ICLR defense proposals, adversarial retraining, provably succeeds at increasing the distortion required to construct adversarial examples by a factor of 4.2.

연구 동기 및 목표

• 형식 검증을 사용하여 경험적 결과를 넘어선 방어의 견고한 평가를 고무한다.
• 선택된 지표 하에서 증명적으로 최소 왜곡된 적대적 예제를 생성하는 방법을 개발한다.
• 최소 왜곡 벤치마크에 대한 현대 공격(Carlini & Wagner)의 효과를 평가한다.
• 작은 네트워크에서 검증 가능한 보장으로 적대적 학습(Madry 등)의 강건성 영향력을 평가한다.

제안 방법

• ReLU를 가진 네트워크에 대한 사운드하고 완전한 해석기인 Reluplex를 사용해, 거리 delta 이내의 적대적 입력 존재 여부의 비존재를 검증한다.
• 절대값을 ReLU로 표현하여 L1 거리를 Reluplex에 인코딩한다.
• delta에 대해 이진 탐색을 수행하여 증명적으로 최소 왜곡된 적대적 예제를 찾는다.
• 공격자 생성 예제(CW, BIM/FGM)를 증명적으로 최소인 예제와 비교해 근접 최적성 여부를 평가한다.
• 작은 MNIST 네트워크에서 강건성 향상을 검증하여 적대적 학습을 평가한다.
• 작은 네트워크의 한계와 향상된 검증 도구를 통한 확장 가능성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 반복적 공격(CW 등)이 증명적으로 최소 왜곡된 적대적 예제에 얼마나 근접한가?
• RQ2 작은 네트워크에서 적대적 학습(Madry 등)이 적대적 예제에 대한 강건성을 증명 가능하게 증가시키는가?
• RQ3 Reluplex 기반 검증이 L1 거리 및 L∞를 넘어 왜곡을 측정하는 범위까지 확장될 수 있는가?
• RQ4 구체적 보장으로 현재와 향후의 공격/방어 효과에 대해 컴팩트한 모델에서 어떤 통찰을 제공하는가?

주요 결과

Number of Points	CW Distorted	Minimally Distorted Adversarial Example	Percent Improvement
N, L_infinity	35/35	0.042	0.039	12.319
N_bar, L_infinity	35/35	0.180	0.165	11.153

• CW 공격은 소형 MNIST 모델에서 L-infinity 기준으로 최소 왜곡 예제의 11.6% 이내의 적대적 예제를 산출한다.
• 소형 MNIST 모델에서 L1 기준으로 최소 왜곡 예제의 6.2% 이내의 적대적 예제를 산출한다(종료 횟수에 의해 제한).
• 적대적 학습은 테스트된 작은 네트워크에서 최소 왜곡 적대적 예제까지의 거리를 평균 4.23배 증가시켰다( L∞에서 0.039에서 0.165로).
• 다양한 타깃에 대해 증명 가능한 최소 왜곡 적대적 예제를 찾을 수 있어 작은 네트워크에서 보장된 보장을 바탕으로 방어를 평가할 수 있다.
• Reluplex 종료율이 보고된 실험에서 적대적 학습 네트워크에서 L∞(81/90) 및 L1(64/90) 모두에서 더 높다.
• 본 연구는 반복적 공격이 근접 최적이지만 경사하강의 지역최소로 인해 실제 최소값을 종종 놓치기도 한다.