[논문 리뷰] Detecting Adversarial Perturbations with Saliency

Chiliang Zhang, Zhimou Yang외 1명|arXiv (Cornell University)|2018. 03. 23.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 3

한 줄 요약

이 논문은 진짜 이미지와 악성 예측 이미지 간의 샐런시 맵 차이를 활용하여 적대적 예측을 탐지하기 위해 샐런시 기반 이진 분류기를 제안한다. 이 방법은 기울기 기반 샐런시를 사용하여 정상 이미지와 변형된 이미지로 훈련하며, 다양한 공격에 대해 MNIST에서는 100% 탐지 정확도, CIFAR-10과 ImageNet 서브셋에서는 90% 이상의 정확도를 달성하며 강한 적대자에서 약한 적대자로의 일반화 능력이 뛰어나다.

ABSTRACT

In this paper we propose a novel method for detecting adversarial examples by training a binary classifier with both origin data and saliency data. In the case of image classification model, saliency simply explain how the model make decisions by identifying significant pixels for prediction. A model shows wrong classification output always learns wrong features and shows wrong saliency as well. Our approach shows good performance on detecting adversarial perturbations. We quantitatively evaluate generalization ability of the detector, showing that detectors trained with strong adversaries perform well on weak adversaries.

연구 동기 및 목표

• 깊이 신경망이 시각적으로 인식되지 않지만 잘못 분류를 유도하는 적대적 예측에 대한 취약성을 해결하기 위해.
• 정상 입력과 악성 입력 간 샐런시 맵에서의 모델 내재 행동 차이를 활용하여 탐지 정확도를 향상시키기 위해.
• 특히 강한 적대자에서 약한 적대자로의 일반화 능력이 뛰어난 탐지기를 개발하기 위해.
• 기존 탐지 방법을 우회하는 적응형 제2차 공격에 대한 탐지기의 저항성 평가를 위해.

제안 방법

• 이 방법은 원본 이미지와 그 적대적 복제본을 모두 사용하여 이진 분류기를 훈련하며, 입력 특징은 기울기 기반 샐런시 맵에서 유도된다.
• 샐런시 맵은 모델의 출력에 대한 입력 이미지의 기울기로 계산되며, 분류에 가장 영향을 미치는 픽셀을 강조한다.
• 탐지기는 정상 샘플(올바른 샐런시)과 악성 샘플(왜곡된 샐런시)을 구분하도록 훈련되며, 악성 예측이 잘못된 특징 주의를 유도한다는 점을 활용한다.
• MNIST, CIFAR-10, ImageNet 서브셋에서 표준 딥러닝 훈련을 사용하며 Adam 옵티마이저를 적용하고, 각 데이터셋에 맞게 초모델 하이퍼파라미터를 조정한다.
• 다양한 공격 유형(FGSM, 반복적 FGSM(l∞ 및 l2), JSMA, C&W)을 사용하여 편향 범위(ε)를 다양하게 설정하고 평가한다.
• 일반화 능력을 테스트하기 위해 강한 적대자(예: 높은 ε)로 훈련하고 약한 적대자(예: 낮은 ε)로 평가하며, 그 반대의 경우도 시험한다.

실험 결과

연구 질문

• RQ1 샐런시 맵은 딥 네트워크에서 잘못된 특징 주의를 드러내어 적대적 편향을 효과적으로 드러내는가?
• RQ2 강한 적대자로 훈련된 탐지기가 약한 적대자로도 잘 일반화되는가? 이는 탐지기의 강건성과 전이 가능성의 지표가 된다.
• RQ3 기존 탐지 메커니즘을 공격하는 적응형 제2차 공격에 대해 제안된 방법이 저항력을 유지하는가?
• RQ4 다양한 데이터셋(MNIST, CIFAR-10, ImageNet)과 공격 유형에서 탐지기는 어떤 성능을 보이는가?

주요 결과

• 모든 테스트된 적대적 공격에 대해 MNIST 데이터셋에서 탐지기의 정확도가 100%를 달성했다.
• CIFAR-10에서 탐지기는 FGSM, 반복적(l∞ 및 l2), JSMA, C&W 공격 모두에서 90% 이상의 정확도를 유지했다.
• ImageNet 서브셋에서 탐지기의 테스트 정확도는 89.83%였으며, 모든 공격 유형과 편향 수준에서 80% 이상의 탐지 성능 유지를 보였다.
• 강한 적대자(예: 높은 ε)로 훈련된 탐지기는 약한 적대자로 잘 일반화되었지만, 그 반대는 성립하지 않아 강력한 일반화 능력을 확인했다.
• 기존 적응형 공격이 이를 우회할 수 없어 탐지기가 제2차 공격에 대해서도 효과적으로 유지되었다.
• 일반화성과 강건성 측면에서 표준 N+1 탐지 방법보다 샐런시 기반 탐지가 뛰어나며, 특히 전이 가능성과 적응형 공격 환경에서 두각을 나타냈다.