[논문 리뷰] Detecting Adversarial Examples from Sensitivity Inconsistency of Spatial-Transform Domain

Jinyu Tian, Jiantao Zhou외 2명|arXiv (Cornell University)|2021. 03. 07.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 6

한 줄 요약

이 논문은 공간-변환 도메인에서의 결정 경계 변동에 대한 민감도 증가 현상에 기반해, 정상 예제와 비교해 공격 예제를 더 민감하게 반응시킴으로써 악성 예제를 탐지하는 감도 불일치 검출기(Sensitivity Inconsistency Detector, SID)를 제안한다. 가중 평균 웨이블릿 변환(Weighted Average Wavelet Transform)을 통해 이중 분류기를 훈련시킴으로써, 특히 작은 편향 수준과 BIM 및 C&W와 같은 고도의 공격에 대해 최신 기술 수준의 탐지 성능을 달성한다.

ABSTRACT

Deep neural networks (DNNs) have been shown to be vulnerable against adversarial examples (AEs), which are maliciously designed to cause dramatic model output errors. In this work, we reveal that normal examples (NEs) are insensitive to the fluctuations occurring at the highly-curved region of the decision boundary, while AEs typically designed over one single domain (mostly spatial domain) exhibit exorbitant sensitivity on such fluctuations. This phenomenon motivates us to design another classifier (called dual classifier) with transformed decision boundary, which can be collaboratively used with the original classifier (called primal classifier) to detect AEs, by virtue of the sensitivity inconsistency. When comparing with the state-of-the-art algorithms based on Local Intrinsic Dimensionality (LID), Mahalanobis Distance (MD), and Feature Squeezing (FS), our proposed Sensitivity Inconsistency Detector (SID) achieves improved AE detection performance and superior generalization capabilities, especially in the challenging cases where the adversarial perturbation levels are small. Intensive experimental results on ResNet and VGG validate the superiority of the proposed SID.

연구 동기 및 목표

• 깊이 신경망의 정밀한 공격 예제에 의한 오분류 문제를 해결하기 위해.
• 정상 예제와 악성 예제를 구분하는 기하학적 성질인 결정 경계 변동에 대한 민감도 불일치를 규명하기 위해.
• 이 불일치를 활용해 강력하고 일반화 가능한 악성 예제 탐지 방법을 개발하기 위해.
• 기존 방법이 어려움을 겪는 낮은 편향 영역에서의 탐지 성능을 향상시키기 위해.

제안 방법

• 원본(기본) 분류기와 다른 결정 경계를 가지는 변환된 결정 경계를 생성하기 위해, 가중 평균 웨이블릿 변환(Weighted Average Wavelet Transform, WAWT)을 사용해 이중 분류기를 구축한다.
• 예제가 경계 변동에 어떻게 반응하는지를 수량화하는 민감도 기반 특징을 설계하며, 이는 공격 예제가 정상 예제보다 더 민감하게 반응하기 때문이다.
• 기본 분류기와 동일한 데이터를 사용하지만 변환 도메인에서 훈련함으로써, 특히 곡률이 높은 경계 영역에서 구조적 다양성을 확보한다.
• 기본 분류기와 이중 분류기 간의 민감도 불일치를 탐지 신호로 활용한다: 큰 불일치는 악성 예제임을 나타낸다.
• 경계 편향에 대한 두 분류기 간의 상대 예측 신뢰도 변화를 기반으로 탐지 점수를 정의한다.
• ResNet, VGG 등의 다양한 아키텍처와 CIFAR-10, SVHN 등의 데이터셋을 대상으로 적용하여 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 결정 경계 변동에 대한 민감도 불일치가 악성 예제 탐지에 신뢰할 수 있는 신호가 될 수 있는가?
• RQ2 변환 도메인에 구축된 이중 분류기가 곡률이 높은 영역에서 기본 분류기와 충분한 구조적 이질성을 보일 수 있는가?
• RQ3 제안된 방법이 BIM 및 C&W와 같은 고도의 공격에 대해 LID, MD 및 FS와 비교해 탐지 정확도에서 뛰어나게 성능을 높일 수 있는가?
• RQ4 백색 상자 공격에 대해 탐지기가 얼마나 강건한가?
• RQ5 다양한 공격 유형과 모델 아키텍처 간에 탐지기가 얼마나 일반화되는가?

주요 결과

• SID는 BIM 및 DeepFool으로 생성된 악성 예제에 대해 모든 편향 수준에서 가장 높은 AUC 점수를 기록하며, LID, MD 및 FS를 모두 능가한다.
• FGSM로 생성된 예제에 대해서는, 편향 크기 η ≤ 0.41일 경우 SID가 가장 우수한 탐지 성능을 보이며, 특히 낮은 η 영역에서도 매우 효과적이다.
• 탐지기는 뛰어난 일반화 능력을 보이며, 예를 들어 BIM으로 훈련한 후 C&W, DeepFool 등의 다른 공격에 대해 테스트할 경우에도 높은 성능을 유지한다.
• SID는 백색 상자 공격에 대해 강건한 편이다: 예를 들어 BIM-L로 훈련한 경우, 백색 상자 공격 전략으로 생성된 악성 예제에 대해 98.31%의 AUC를 유지한다.
• 이 방법의 일반화 능력은 BIM 및 C&W와 같은 고급 공격이 동일한 곡률이 매우 높은 경계 영역에 악성 예제를 집중시키기 때문에, 일관된 민감도 불일치를 유도하기 때문이다.
• WAWT를 통한 이중 분류기 설계는 기본 분류기와 충분한 기하학적 이질성을 가지는 결정 경계를 성공적으로 생성하여 효과적인 탐지가 가능하게 한다.