[논문 리뷰] Detecting Adversarial Samples from Artifacts

Reuben Feinman, Ryan R. Curtin외 2명|arXiv (Cornell University)|2017. 03. 01.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 376

한 줄 요약

마지막 층 특징 공간의 밀도 추정과 드롭아웃에서의 베이지안 불확실성을 활용하여 적대적 샘플에 대한 두 특성 탐지기를 제안한다; 이를 로지스틱 회귀로 결합해 여러 공격 및 데이터셋에서 적대적 입력을 탐지한다.

ABSTRACT

Deep neural networks (DNNs) are powerful nonlinear architectures that are known to be robust to random perturbations of the input. However, these models are vulnerable to adversarial perturbations--small input changes crafted explicitly to fool the model. In this paper, we ask whether a DNN can distinguish adversarial samples from their normal and noisy counterparts. We investigate model confidence on adversarial samples by looking at Bayesian uncertainty estimates, available in dropout neural networks, and by performing density estimation in the subspace of deep features learned by the model. The result is a method for implicit adversarial detection that is oblivious to the attack algorithm. We evaluate this method on a variety of standard datasets including MNIST and CIFAR-10 and show that it generalizes well across different architectures and attacks. Our findings report that 85-93% ROC-AUC can be achieved on a number of standard classification tasks with a negative class that consists of both normal and noisy samples.

연구 동기 및 목표

• 공격 특정 방어를 넘어 적대적 샘플을 탐지할 필요성을 동기부여한다.
• 적대적 교란의 산란 흔적을 드러내는 두 가지 공격 비의존적 특징을 개발한다.
• 밀도와 불확실성을 결합한 간단한 분류기를 통해 적대적 입력을 탐지하는 것을 시연한다.
• 여러 데이터셋, 아키텍처 및 공격에 걸친 일반화를 평가한다.
• 적대적 섭동이 입력을 데이터 매니폴드에서 벗어나 고불확실 영역으로 이동시키는 방식을 분석한다.]
• method["마지막 은닉층 특징 공간에서 커널 밀도 추정을 사용해 샘플이 클래스 매니폴드로부터 얼마나 떨어져 있는지 측정한다.","베이지안 신경망의 드롭아웃 기반 베이지안 불확실성 추정을 활용해 신뢰도가 낮은 영역을 식별한다.","두 특징 입력(불확실성, 밀도)을 계산하고 로지스틱 회귀 탐지기를 학습시켜 적대적 샘플과 정상/잡음 샘플을 구분한다.","여러 공격(FGSM, BIM, JSMA, C&W)과 데이터셋(MNIST, CIFAR-10, SVHN)을 ROC-AUC 지표로 평가한다.","가능한 밀도 대역폭을 우도 기반 선택으로 고정하고 탐지기 학습 전 특징에 z-점수 정규화를 적용한다."]
• research_questions:[

실험 결과

연구 질문

• RQ1 마지막 은닉층 특징 공간에서 매니폴드 기반 밀도 추정으로 적대적 샘플을 정상 샘플 및 노이즈 샘플과 구분할 수 있는가?
• RQ2 드롭아웃으로 얻은 베이지안 신경망의 불확실성이 밀도만으로 포착되지 않는 적대적 입력을 드러내는가?
• RQ3 다양한 공격과 데이터셋에 걸쳐 밀도와 불확실성 특징을 결합한 간단한 로지스틱 회귀 탐지기가 얼마나 잘 수행하는가?
• RQ4 제안된 특징이 공격 유형 간 학습 없이도 아키텍처에 일반화되는가?
• RQ5 MNIST, CIFAR-10, SVHN에서 적대적 탐지를 위한 ROC-AUC 성능은 어느 수준인가?

주요 결과

• 밀도 추정과 베이지안 불확실성을 함께 사용하는 탐지기가 공격 및 데이터셋 전반에서 높은 ROC-AUC를 달성한다(예: 음수 클래스에 정상 및 잡음 샘플을 포함할 때 MNIST에서 최대 92.6%).
• 적대적 샘플은 일반 샘플에 비해 밀도 추정이 감소하고 불확실성은 증가하는 경향이 있다.
• 두 특징의 결합인 불확실성+밀도 탐지기가 단일 특징보다 우수하며, 특히 JSMA, BIM-A 및 C&W 공격에서 그렇다.
• MNIST, CIFAR-10, SVHN에 대해 FGSM, BIM, JSMA, C&W 공격에서 강력한 ROC-AUC 성능을 보인다.
• 음수 클래스에 정상 및 잡음 샘플이 모두 포함될 때도 적대적 탐지가 효과적이며, 교란 유형 변화에 대해 견고함을 시사한다.