[논문 리뷰] ML-LOO: Detecting Adversarial Examples with Feature Attribution

Puyudi Yang, Jianbo Chen외 3명|arXiv (Cornell University)|2019. 06. 08.

Adversarial Robustness in Machine Learning참고 문헌 64인용 수 15

한 줄 요약

이 논문은 딥 네URAL 네트워크에서 특성 할당 점수를 활용하여 악성 예측 입력을 식별하는 새로운 악성 예측 검출 방법인 ML-LOO를 제안한다. 원본 및 변형된 입력 간의 Leave-One-Out (LOO) 특성 할당의 척도 차이를 측정하고, 다중층 할당으로 확장함으로써 다양한 공격 유형과 신뢰 수준에서 악성 예측 예측을 효과적으로 탐지하며, 검출 정확도와 전이 가능성 면에서 최신 기술을 능가한다.

ABSTRACT

Deep neural networks obtain state-of-the-art performance on a series of tasks. However, they are easily fooled by adding a small adversarial perturbation to input. The perturbation is often human imperceptible on image data. We observe a significant difference in feature attributions of adversarially crafted examples from those of original ones. Based on this observation, we introduce a new framework to detect adversarial examples through thresholding a scale estimate of feature attribution scores. Furthermore, we extend our method to include multi-layer feature attributions in order to tackle the attacks with mixed confidence levels. Through vast experiments, our method achieves superior performances in distinguishing adversarial examples from popular attack methods on a variety of real data sets among state-of-the-art detection methods. In particular, our method is able to detect adversarial examples of mixed confidence levels, and transfer between different attacking methods.

연구 동기 및 목표

• 기존 검출 방법을 회피하는 고신뢰도 또는 혼합 신뢰도 수준을 가진 악성 예측 예측을 탐지하는 데 도전하는 것.
• 결정 경계 근처에서 악성 예측 예측의 특성 할당 지apap이 불안정한 점을 활용하여, 변형이 예측 점수에 상당한 이동을 유도하는 특성.
• 모델에 특화된 튜닝 없이도 다양한 공격 유형에 대해 강건하고, 상호 전이 가능한 검출 프레임워크를 개발하는 것.
• 단일층 할당에서 다중층 특성 할당으로의 확장을 통해 고신뢰도 악성 예측 예측에서의 불확실성을 포착하는 것.
• 할당 불일치의 통계적 요약에 기반한 모델 독립적이고 쿼리 효율적인 검출 방법을 제공하는 것.

제안 방법

• 각 입력 특성을 체계적으로 마스킹하고 모델 예측의 변화를 측정함으로써 중요도 점수를 계산하기 위해 Leave-One-Out (LOO) 특성 할당을 사용한다.
• 원본 및 악성 예측 예측 간의 특성 불일치를 통계적 대체 측정으로 사용하기 위해 할당 점수의 척도(예: L2 노름 또는 분산)를 측정한다.
• 청정 데이터에서 학습된 임계값을 적용하여 입력을 자연스럽거나 악성 예측 예측로 분류하는 임계값 기반 메커니즘을 적용한다.
• 중간층의 할당 점수를 집계하여 다중층 할당으로 검출를 확장함으로써, 모델이 악성 예측 예측에 대해 높은 신뢰도를 가질 때조차 민감도를 유지한다.
• 할당 이동의 크기를 기반으로 자연스러운 예측과 악성 예측 예측을 구분하기 위해 통계적 검정 또는 분포 기반 임계값 설정을 사용한다.
• 검출기를 한 가지 공격 유형(예: C&W)으로 훈련하고, 다른 공격(예: PGD, FGSM, JSMA)으로의 전이성을 평가함으로써 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 결정 경계 근처에서 자연스러운 예측과 악성 예측 예측 간에 특성 할당 지도에서 일관된 통계적 차이가 드러나는가?
• RQ2 할당 척도 차이에 기반한 검출 방법이 다양한 악성 예측 공격 유형, 특히 다양한 신뢰 수준을 가진 공격에 대해 일반화 가능한가?
• RQ3 다중층 특성 할당을 통합함으로써 단일층 방법이 실패하는 고신뢰도 악성 예측 예측에서 검출 성능이 향상되는가?
• RQ4 한 공격 유형으로 훈련된 검출기가 다른 알려지지 않은 공격으로 생성된 악성 예측 예측을 성공적으로 탐지할 수 있는가? 이는 전이 가능성의 여부를 의미한다.
• RQ5 다양한 데이터셋과 공격 시나리오에서 최신 기술 기반 검출 성능과 비교해 볼 때, 제안된 방법은 어떤 성능을 보이는가?

주요 결과

• ML-LOO는 C&W 공격 데이터를 사용하여 CIFAR-10에서 AUC 0.879를 달성하며, 혼합 신뢰도 악성 예측 예측을 탐지하는 데 있어 Mahalanobis(0.818), LID(0.763), KD+BU(0.753)를 크게 능가한다.
• FPR = 0.01일 때, ML-LOO는 혼합 신뢰도 C&W 공격에서 TPR 0.21을 달성하였고, Mahalanobis, LID, KD+BU는 각각 TPR 0.08, 0.14, 0.20를 기록하여 낮은 가짜 양성 비율에서도 뛰어난 탐지 성능을 보였다.
• $L_{∞}$-PGD 공격에서 ML-LOO는 CIFAR-10에서 AUC 0.879를 유지하며, KD+BU(0.753), LID(0.763), Mahalanobis(0.818)를 모두 능가하는 높은 성능을 보였다.
• ML-LOO는 강력한 전이성을 보였다: C&W 공격으로 훈련된 경우, MNIST, CIFAR-10, CIFAR-100에서 $L_{∞}$-PGD, FGSM, Boundary 공격에 대해 AUC > 0.98를 달성하였다.
• 고신뢰도 $L_{∞}$-PGD 공격(ε=0.03)에서 ML-LOO는 FPR=0.01일 때 TPR 0.48을 기록하였고, KD+BU, LID, Mahalanobis는 TPR가 0.10 이하에 머물렀다. 이는 ML-LOO가 고신뢰도 영역에서 효과적임을 시사한다.
• 다중층 할당 설계 덕분에 중간 표현의 불확실성을 포착함으로써, 다른 검출기가 실패하는 혼합 신뢰도 공격 전반에서 악성 예측 예측을 성공적으로 탐지하였다.