[논문 리뷰] Detection of Backdoors in Trained Classifiers Without Access to the Training Set

Zhen Xiang, David J. Miller외 1명|arXiv (Cornell University)|2019. 08. 27.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 훈련 데이터에 접근할 수 없을 때도 딥 네ural 네트워크 분류기에서 인식할 수 없는 백도어 공격을 탐지하기 위한 후훈련, 비지도 이상 탐지 방법을 제안한다. 이 방법은 클래스 쌍 간의 오분류를 유도하는 최소한의 변형을 최적화하여 백도어를 식별하며, 진짜 소스-대상 쌍에 대해 훨씬 더 작은 변형을 보여주며, 단일 초모수 임계값을 사용해 다양한 데이터셋과 공격 패턴에서 강력한 탐지 성능을 달성한다.

ABSTRACT

Recently, a special type of data poisoning (DP) attack targeting Deep Neural Network (DNN) classifiers, known as a backdoor, was proposed. These attacks do not seek to degrade classification accuracy, but rather to have the classifier learn to classify to a target class whenever the backdoor pattern is present in a test example. Launching backdoor attacks does not require knowledge of the classifier or its training process - it only needs the ability to poison the training set with (a sufficient number of) exemplars containing a sufficiently strong backdoor pattern (labeled with the target class). Here we address post-training detection of backdoor attacks in DNN image classifiers, seldom considered in existing works, wherein the defender does not have access to the poisoned training set, but only to the trained classifier itself, as well as to clean examples from the classification domain. This is an important scenario because a trained classifier may be the basis of e.g. a phone app that will be shared with many users. Detecting backdoors post-training may thus reveal a widespread attack. We propose a purely unsupervised anomaly detection (AD) defense against imperceptible backdoor attacks that: i) detects whether the trained DNN has been backdoor-attacked; ii) infers the source and target classes involved in a detected attack; iii) we even demonstrate it is possible to accurately estimate the backdoor pattern. We test our AD approach, in comparison with alternative defenses, for several backdoor patterns, data sets, and attack settings and demonstrate its favorability. Our defense essentially requires setting a single hyperparameter (the detection threshold), which can e.g. be chosen to fix the system's false positive rate.

연구 동기 및 목표

• 훈련 데이터가 제공되지 않을 때도 DNN 분류기에서 백도어 공격을 후훈련 단계에서 탐지하는 것.
• 공격에 대한 사전 지식 없이도 백도어 공격에 관여한 소스 및 타깃 클래스를 식별하는 것.
• 훈련된 모델과 정상 테스트 예제만을 사용하여 백도어 패턴 자체를 추정하는 것.
• 순수하게 비지도이며 다양한 백도어 메커니즘과 데이터셋에 대해 강력한 방어 전략을 개발하는 것.

제안 방법

• 모든 (s,t) 쌍에 대해, 깨끗한 예제를 클래스 s에서 t로 오분류하게 하는 최소 노름 변형을 찾기 위해 변형 최적화를 수행한다.
• 오분류를 유도하기 위해 필요한 최소한의 변형을 계산하기 위해 비용 함수 최소화 프레임워크를 사용한다.
• 각 (s,t) 쌍에 대해, 클래스 s의 깨끗한 이미지를 사용하여 변형 노름을 최소화하는 방식으로 변형 최적화 문제를 해결한다.
• 진짜 백도어 쌍 (s*,t*)은 비백도어 쌍보다 훨씬 작은 변형을 요구한다는 가설을 활용한다.
• 모든 클래스 쌍 간의 변형 노름을 비교하고 이상치를 탐지하기 위해 새로운 강력한 가설 검증 전략을 사용한다.
• 방어에는 오직 하나의 탐지 임계값만 조정이 필요하며, 이는 거짓 양성률을 제어할 수 있다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 제공되지 않을 때도 DNN에서 백도어 공격을 후훈련 단계에서 탐지할 수 있는가?
• RQ2 공격에 대한 사전 지식 없이도 백도어 공격의 소스 및 타깃 클래스를 추론할 수 있는가?
• RQ3 진짜 백도어 쌍에 대해 오분류를 유도하기 위해 필요한 최소 변형이 비백도어 쌍보다 현저히 작은가?
• RQ4 제안된 방법은 다양한 백도어 패턴, 데이터셋, 공격 메커니즘에 대해 얼마나 강력한가?
• RQ5 입력 공간에서 기울기 기반 최적화에 의존하지 않고도 백도어를 탐지할 수 있는가, 아니면 비이미지 입력으로도 확장할 수 있는가?

주요 결과

• 제안된 방법은 CIFAR-10, SVHN, Tiny ImageNet 등 여러 데이터셋에서 높은 탐지 정확도로 백도어 공격을 성공적으로 탐지한다.
• 진짜 백도어 쌍 (s*,t*)에 대해 필요한 최소 변형 노름은 모든 다른 (s,t) 쌍보다 일관되고 현저히 작으며, 핵심 가설을 검증한다.
• 모든 테스트 공격 시나리오에서 정확한 소스 및 타깃 클래스를 식별한다. 인식할 수 없는 백도어 패턴이 존재하더라도 마찬가지다.
• 그룹 오분류 문제를 해결하는 대신 K(K-1)개의 단일 클래스 변형 문제를 해결함으로써 이전 방법보다 계산 비용이 낮다.
• 공격자가 덧셈, 곱셈 또는 기타 변형 메커니즘을 사용하더라도, 메커니즘에 대한 지식 없이도 방어가 효과를 유지한다.
• 다양한 공격 설정에서 강성과 탐지 신뢰도 측면에서 최신 기술보다 뛰어난 성능을 보인다.