[논문 리뷰] Detection Defense Against Adversarial Attacks with Saliency Map

Dengpan Ye, Chuanxi Chen외 3명|arXiv (Cornell University)|2020. 09. 06.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 6

한 줄 요약

이 논문은 예측 불일치를 통해 적대적 편향을 탐지하고 모델의 해석 가능성을 향상시키기 위해 선명도 맵을 활용하여 적대적 공격에 대한 새로운 탐지 방어 기법을 제안한다. 색상 반전 및 평균이 0인 추가 노이즈 기법과 결합함으로써, ImageNet과 CIFAR-10에서 FGSM 및 C&W 공격에 대해 90% 이상의 탐지 정확도를 달성하며, 주요 벤치마크에서 최신 기술인 특징 압축 기법을 능가한다.

ABSTRACT

It is well established that neural networks are vulnerable to adversarial examples, which are almost imperceptible on human vision and can cause the deep models misbehave. Such phenomenon may lead to severely inestimable consequences in the safety and security critical applications. Existing defenses are trend to harden the robustness of models against adversarial attacks, e.g., adversarial training technology. However, these are usually intractable to implement due to the high cost of re-training and the cumbersome operations of altering the model architecture or parameters. In this paper, we discuss the saliency map method from the view of enhancing model interpretability, it is similar to introducing the mechanism of the attention to the model, so as to comprehend the progress of object identification by the deep networks. We then propose a novel method combined with additional noises and utilize the inconsistency strategy to detect adversarial examples. Our experimental results of some representative adversarial attacks on common datasets including ImageNet and popular models show that our method can detect all the attacks with high detection success rate effectively. We compare it with the existing state-of-the-art technique, and the experiments indicate that our method is more general.

연구 동기 및 목표

• 안전 기반 응용 분야에서 잘못 분류를 유도하는 눈에 띄지 않는 적대적 편향에 대한 딥 네URAL 네트워크의 취약성을 해결하기 위해.
• 모델의 재학습이나 아키텍처 변경 없이도 일반적이고 침습적이지 않은 탐지 방어 기법을 개발하기 위해.
• 선명도 맵을 통해 활성화된 영역를 시각화하여 원본 입력과 변형된 입력 간의 불일치를 탐지함으로써 모델의 해석 가능성을 향상시키기 위해.
• ImageNet과 CIFAR-10과 같은 표준 데이터셋에서 FGSM, C&W, OSPA와 같은 다양한 적대적 공격에 대해 탐지 강건성을 향상시키기 위해.
• 공격 유형에 맞게 조정이 필요한 기존 특징 압축 기법에 대한 더 일반적이고 효과적인 대안을 제공하기 위해.

제안 방법

• 모델의 예측에 가장 영향을 미치는 영역를 강조하기 위해 클래스 활성화 맵(CAM)을 사용하여 선명도 맵를 생성한다.
• 원본 입력과 노이즈를 추가한 변형된 버전 간의 모델 출력을 비교하여 예측 불일치를 유도함으로써, 적대적 예제에서의 차이를 극대화한다(예: 색상 반전 또는 평균이 0인 노이즈).
• 방어 프레임워크는 원본 입력과 변형된 입력 간의 예측 차이를 평가하며, 높은 불일치는 잠재적인 적대적 예외를 나타낸다.
• 선명도 맵는 모델의 주의 집중 영역를 집중적으로 고려함으로써 탐지 과정을 안내하며, 이는 해석 가능성과 탐지 민감도를 향상시킨다.
• 선명도 맵 분석과 노이즈 주입 기법을 조합하여 청소년 입력과 적대적 입력 간의 특징 활성화 패턴의 미세한 차이를 극대화한다.
• 표준 데이터셋(ImageNet, CIFAR-10)과 모델(VGG16)을 사용하여 평가하며, 탐지 성능은 성공률과 원본 입력 정확도로 측정된다.

실험 결과

연구 질문

• RQ1 모델 아키텍처나 재학습 없이도 선명도 맵 기반의 해석 가능성을 활용하여 적대적 예외를 탐지할 수 있는가?
• RQ2 원본 입력과 노이즈가 첨가된 입력 간의 예측 불일치는 다양한 적대적 공격에 걸쳐 탐지 강건성을 향상시키는가?
• RQ3 탐지 정확도와 다양한 공격 유형에 대한 일반화 능력 측면에서 제안된 방법은 특징 압축 기법보다 어떻게 비교되는가?
• RQ4 색상 반전, 평균이 0인 노이즈와 같은 간단한 노이즈 변환과 선명도 맵를 조합하면 탐지 성능을 향상시키면서도 청소년 입력 정확도를 유지할 수 있는가?
• RQ5 특정 공격에 특화된 방어 기법인 특징 압축 기법과 비교해 볼 때, 제안된 방법은 블랙박스 또는 실제 세계 환경에서 더 일반적인가?

주요 결과

• 색상 반전(θ=0.1)을 사용한 선명도 맵 기반 탐지에서 OSPA 공격에 대해 94.3%의 탐지 성공률, FGSM에 대해 69.5%, C&W2에 대해 47.8%를 기록하였다.
• 평균이 0인 노이즈를 사용할 경우, OSPA에 대해 93.7%, FGSM에 대해 82.8%, C&W2에 대해 69.6%의 탐지 성공률를 달성하여 특징 압축 기법보다 뛰어난 성능을 보였다.
• VGG16 모델에서 청소년 ImageNet 입력에 대해 93% 이상의 정확도를 유지하면서도 적대적 예외를 효과적으로 탐지하였다.
• 선명도 맵와 평균이 0인 노이즈(θ=0.1)의 최적 조합은 최고의 특징 압축 설정(5-bit, 2×2 중앙값, 11-3-4 비국소 필터링)보다 탐지 정확도와 청소년 입력 유지 능력에서 뛰어난 성능을 보였다.
• 기울기 기반 공격(FGSM, C&W)과 물리 세계 공격(OSPA)을 포함한 다양한 공격 유형에 대해 일반화 능력을 입증하여 광범위한 적용 가능성을 보였다.
• 결과적으로, 선명도 맵 기반의 해석 가능성 기반 탐지 기법은 공격 유형에 맞게 미세조정이 필요한 특징 압축 기법보다 더 강건하고 일반적인 것으로 나타났다.