[논문 리뷰] Detecting Adversarial Examples via Neural Fingerprinting

Sumanth Dathathri, Stephan Zheng외 3명|arXiv (Cornell University)|2018. 03. 11.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 8

한 줄 요약

이 논문은 훈련 중에 고유하고 무작위로 생성된 지문을 딥 네ural 네트워크에 임bedding하여 적대적 예제를 탐지하는 Neural Fingerprinting (NFP)을 제안한다. 정해진 변형에 대한 모델의 반응이 임베딩된 지문과 일관성을 확인함으로써, NFP는 다양한 회색 상자 및 블랙박스 공격 하에서 MNIST, CIFAR-10, MiniImageNet에서 98–100%의 AUC-ROC 성능을 달성하며, 최소한의 계산 오버헤드로 최신 기술 수준의 탐지 성능을 입증한다.

ABSTRACT

Deep neural networks are vulnerable to adversarial examples, which dramatically alter model output using small input changes. We propose Neural Fingerprinting, a simple, yet effective method to detect adversarial examples by verifying whether model behavior is consistent with a set of secret fingerprints, inspired by the use of biometric and cryptographic signatures. The benefits of our method are that 1) it is fast, 2) it is prohibitively expensive for an attacker to reverse-engineer which fingerprints were used, and 3) it does not assume knowledge of the adversary. In this work, we pose a formal framework to analyze fingerprints under various threat models, and characterize Neural Fingerprinting for linear models. For complex neural networks, we empirically demonstrate that Neural Fingerprinting significantly improves on state-of-the-art detection mechanisms by detecting the strongest known adversarial attacks with 98-100% AUC-ROC scores on the MNIST, CIFAR-10 and MiniImagenet (20 classes) datasets. In particular, the detection accuracy of Neural Fingerprinting generalizes well to unseen test-data under various black- and whitebox threat models, and is robust over a wide range of hyperparameters and choices of fingerprints.

연구 동기 및 목표

• 딥 네ural 네트워크가 치명적인 잘못된 예측을 유도하는 적대적 예제에 대한 취약성을 해결하기 위해.
• 적대자가 방어 메커니즘에 대한 액세스가 제한되거나 전혀 없을 때 효과적인 탐지 메커니즘을 개발하기 위해.
• 공격 유형에 관계없이, 보조 분류기나 복잡한 재학습이 필요 없이 작동하는 방법을 만들기 위해.
• 예측-변환(EOT) 및 화이트박스 적응형 공격을 포함한 적응형 공격에 대한 강건성을 평가하기 위해.
• 미리보지 않은 데이터에 지문이 일반화되면서도 적대적 예제와 강하게 분리되는지를 유지하기 위해.

제안 방법

• NFP는 실제 데이터 주변에서 작은 변형 $\Delta x$와 $\Delta y$를 사용하여, 모델의 예측 반응에 무작위적이고 생체 인식 유사 지문을 훈련 중에 인코딩한다.
• 이 방법은 모델이 이러한 변형에 대한 민감도가 예상 지문 패턴과 일치하는지 확인함으로써, 실제 입력과 적대적 입력 간의 일관성 검사를 수행한다.
• 지문은 분포 $T_{\Delta x}$와 $T_{\Delta y}$에서 유도되며, 추론 시 모델과 공유되지 않는다.
• 탐지는 훈련 중에 학습된 기준 지문 패턴과 테스트 입력 주변의 모델 반응을 비교하여 수행된다.
• 방어 성능 평가에는 다양한 임계값 $\tau$를 사용한 AUC-ROC가 사용되며, 더 높은 점수는 정상 데이터와 적대적 데이터 간의 분리도가 높음을 의미한다.
• NFP의 한계를 시험하기 위해, 지문 손실을 최소화하면서 오분류를 유도하는 기반의 적응형 화이트박스 공격이 개발되었다.

실험 결과

연구 질문

• RQ1 회색 상자 및 블랙박스 환경에서 다양한 공격 유형에 대해 간단한 훈련 시점 임베딩 방식인 무작위 지문이 적대적 예제를 탐지할 수 있는가?
• RQ2 지문 분포나 예측-변환(EOT) 기법을 악용하는 적응형 공격에 대해 NFP는 얼마나 강건한가?
• RQ3 지문 크기 $N$과 변형 크기 $\varepsilon$를 포함한 다양한 데이터셋과 하이퍼파라미터 설정에서도 NFP는 높은 탐지 성능를 유지하는가?
• RQ4 알 수 없는 공격 메커니즘 하에서 LID, KD, BU와 같은 최신 기술 기반 탐지 기준과 비교해 NFP는 AUC-ROC 측면에서 얼마나 우수한가?
• RQ5 새로운 적응형 화이트박스 공격이 NFP를 우회할 수 있는가? 이는 지문 기반 방어의 보안성에 어떤 함의를 갖는가?

주요 결과

• NFP는 FGSM, BIM, JSMA, CW-L2를 포함한 다양한 적대적 공격에 대해 MNIST, CIFAR-10, MiniImageNet(20개 클래스)에서 98–100%의 AUC-ROC 성능을 달성한다.
• CIFAR-10에서 NFP는 LID 평균 11.77% 높은 성능을 보이며, KD+BU, KD, BU보다도 뚜렷하게 뛰어난 탐지 성능을 확보한다.
• LID-화이트박스(공격 메커니즘을 알고 있음)와 비교했을 때도 NFP는 평균 8.0% 높은 성능를 기록한다.
• NFP는 $N$과 $\varepsilon$를 포함한 다양한 하이퍼파라미터 설정에서도 높은 성능를 유지하며, 그 결과는 그림 5와 7에서 확인할 수 있다.
• N=20, $\varepsilon=0.05$ 조건에서 MiniImageNet-20에서 NFP는 >99.5%의 AUC-ROC 성능를 기록했으며, FGSM에선 99.96%, BIM-b에선 99.68%를 기록했다.
• 적대자가 동일한 분포에서 지문을 샘플링하는 EOT 유형의 공격에 대해서도 NFP는 강건성을 유지하며, 지문 생성 방식에 대한 부분적인 지식이 있더라도 저항성을 보여준다.