[논문 리뷰] Detecting Adversarial Samples for Deep Neural Networks through Mutation Testing

Jingyi Wang, Jun Sun외 2명|arXiv (Cornell University)|2018. 05. 14.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 43

한 줄 요약

본 논문은 nMutant를 제안한다, DNN용 블랙-박스 적대적 샘플 검출기로서 무작위 섭 perturbations에 대한 샘플 민감도를 측정하기 위해 mutation testing을 사용하고 SPRT 기반의 의사결정을 통해 적대적 입력을 탐지한다. MNIST와 CIFAR-10 전반에서 일반 샘플에 비해 적대적 샘플의 민감도가 더 높다는 것을 보이고, 비교적 적은 수의 mutation으로 주목할 만한 탐지 정확도를 달성한다.

ABSTRACT

Recently, it has been shown that deep neural networks (DNN) are subject to attacks through adversarial samples. Adversarial samples are often crafted through adversarial perturbation, i.e., manipulating the original sample with minor modifications so that the DNN model labels the sample incorrectly. Given that it is almost impossible to train perfect DNN, adversarial samples are shown to be easy to generate. As DNN are increasingly used in safety-critical systems like autonomous cars, it is crucial to develop techniques for defending such attacks. Existing defense mechanisms which aim to make adversarial perturbation challenging have been shown to be ineffective. In this work, we propose an alternative approach. We first observe that adversarial samples are much more sensitive to perturbations than normal samples. That is, if we impose random perturbations on a normal and an adversarial sample respectively, there is a significant difference between the ratio of label change due to the perturbations. Observing this, we design a statistical adversary detection algorithm called nMutant (inspired by mutation testing from software engineering community). Our experiments show that nMutant effectively detects most of the adversarial samples generated by recently proposed attacking methods. Furthermore, we provide an error bound with certain statistical significance along with the detection.

연구 동기 및 목표

• 적대적 샘플의 robust한 탐지를 알려진 공격 데이터에 의존하지 않고 동기화하려고 시도한다.
• 적대적 입력이 무작위 섭 perturbations에 대해 일반 입력보다 더 민감하다는 것을 보인다.
• 통계적 보장을 갖춘 mutation testing을 사용한 실용적이고 확장 가능한 탐지기를 개발한다.
• MNIST와 CIFAR-10에서 파라미터 설정에 대한 가이드라인을 제공하고 효과를 시연한다.

제안 방법

• 입력 x를 perturbed된 realistic perturbation bounds 내의 x_m으로 라벨링된 변이를 생성하는 mutation testing 프레임워크를 정의한다.
• 민감도 κ(x)를 모델의 출력이 바뀌는 변이의 비율로 측정한다: κ(x) = |{x_m : f(x_m) ≠ f(x)}| / |X_m(x)|.
• 결정적으로 α, β의 제어 하에 κ(x) > μ·κ1 또는 κ(x) ≤ μ·κ1를 결정하기 위해 Sequential Probability Ratio Test (SPRT)를 적용한다.
• 정상 샘플의 민감도에 대한 상한으로 κ1을 사용하고, μ, α, β, σ를 사용해 결정 영역과 신뢰를 제어한다.
• 현실적인 섭 Perturbations를 포착하고 κnor와 κadv 간의 차이를 최대화하는 StepSize로 변이를 생성한다.
• bounded error로 결정이 도출될 때까지 중지가 가능한 실용적인 알고리즘(Algorithm 1)을 제공한다.

실험 결과

연구 질문

• RQ1 mutation testing이 모델 내부 정보를 알지 못해도 일반 샘플과 적대적 샘플을 구분하는 신호를 신뢰할 수 있게 생성할 수 있는가?
• RQ2 일반 샘플과 적대적 샘플의 무작위 섭 perturbations에 대한 민감도 차이가 일반 공격들에서 실증적으로 얼마나 다른가?
• RQ3 MNIST와 CIFAR-10에서 특정 신뢰도로 적대적 입력을 탐지하는 데 필요한 mutation 수는 얼마인가?
• RQ4 StepSize, κ1, μ, α, β 등 파라미터 선택이 탐지 정확도와 효율성에 어떤 영향을 미치는가?

주요 결과

• 적대적 샘플은 FGSM, C&W, JSMA, Black-box 공격 전반에서 일반 샘플 κnor보다 훨씬 높은 민감도 κadv를 보인다.
• 더 작은 StepSize는 κnor와 κadv 사이의 거리를 증가시켜 조기 탐지를 돕고; 더 큰 StepSize는 이 거리를 줄인다.
• MNIST에서 평균 77.4%, CIFAR-10에서 76.6%의 탐지 정확도; 샘마다 약 33개의 mutated( MNIST) 및 46.5개의 mutated(CIFAR-10)으로 측정.
• 탐지는 잘못 라벨링된 샘플도 효과적으로 식별하여 재레이블링(relabeling) 가능성을 시사한다.
• 정상 샘플은 높은 정밀도로 올바르게 식별되며 평균 약 97%의 정확도를 보인다.
• 탐지는 블랙-박스 방식으로 작동하며 각 입력에 대해 신뢰 bound 기반의 의사결정을 제공한다.