[논문 리뷰] Revealing Perceptible Backdoors, without the Training Set, via the Maximum Achievable Misclassification Fraction Statistic

Zhen Xiang, David J. Miller외 2명|arXiv (Cornell University)|2019. 11. 18.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 6

한 줄 요약

이 논문은 훈련 데이터에 접근할 수 없음에도 불구하고 DNN 이미지 분류기에서 시각적으로 인지 가능한 백도어를 사후 훈련 검출하기 위한 방법을 제안한다. 이는 최대 달성 가능한 오분류 비율(MAMF) 통계량을 사용한다. 연구는 시각적으로 인지 가능한 백도어 패턴의 공간 불변성과 내성 특성을 활용하여 높은 정확도로 공격을 탐지하며, 이는 기존 방법들을 능가하고, 정밀도가 높은 비시각적 백도어 탐지기와 조합될 경우 모든 회피 공격을 탐지할 수 있도록 한다.

ABSTRACT

Recently, a backdoor data poisoning attack was proposed, which adds mislabeled examples to the training set, with an embedded backdoor pattern, aiming to have the classifier learn to classify to a target class whenever the backdoor pattern is present in a test sample. Here, we address post-training detection of innocuous perceptible backdoors in DNN image classifiers, wherein the defender does not have access to the poisoned training set, but only to the trained classifier, as well as unpoisoned examples. This problem is challenging because without the poisoned training set, we have no hint about the actual backdoor pattern used during training. This post-training scenario is also of great import because in many practical contexts the DNN user did not train the DNN and does not have access to the training data. We identify two important properties of perceptible backdoor patterns - spatial invariance and robustness - based upon which we propose a novel detector using the maximum achievable misclassification fraction (MAMF) statistic. We detect whether the trained DNN has been backdoor-attacked and infer the source and target classes. Our detector outperforms other existing detectors and, coupled with an imperceptible backdoor detector, helps achieve post-training detection of all evasive backdoors.

연구 동기 및 목표

• 훈련 데이터에 접근할 수 없는 상황에서, DNN에서 시각적으로 인지 가능한 백도어 공격을 사후 훈련 단계에서 탐지하는 것.
• 훈련 데이터나 특정 백도어 패턴에 대한 사전 지식 없이도 백도어 패턴을 식별하는 데 도전하는 것.
• 백도어 공격의 원천 클래스와 대상 클래스를 추론함으로써 모델 신뢰도를 향상시키는 것.
• 기존의 비시각적 백도어 탐지기와 보완하여, 모든 회피 공격을 포괄하는 사후 훈련 단계의 백도어 탐지 기능을 제공하는 것.

제안 방법

• 이 방법은 최대 달성 가능한 오분류 비율(MAMF) 통계량에 기반한다. 이 통계량은 공간 제약 조건이 있는 변형 조건 하에서 특정 원천 클래스의 테스트 샘플 중 오분류될 수 있는 최대 비율을 정량화한다.
• 모든 클래스 쌍에 대해, 주어진 너비의 가능한 모든 공간 지원(영역)을 탐색하여 청소년 테스트 이미지의 오분류율을 최대화하는 영역을 찾는다.
• 이 탐지기는 시각적으로 인지 가능한 백도어 패턴의 두 가지 핵심 성질을 활용한다: 공간 불변성(작은 공간 이동에 대해 강건함)과 내성(예: 흐림과 같은 경미한 변형에도 지속됨).
• MAMF 값에 임계값을 설정하여 백도어 존재 여부를 판단한다. 높은 MAMF 값은 백도어 존재 가능성을 시사한다.
• 이 방법은 서rogate 모델 훈련이 필요 없도록 청소년 소규모 레이블러드 데이터셋을 평가에 사용한다.
• 모든 클래스 쌍에 걸쳐 패턴 추정을 수행하며, 통계적으로 유의미한 MAMF 급증에 기반해 탐지한다.

실험 결과

연구 질문

• RQ1 훈련 세트에 접근할 수 없는 상황에서, DNN에서 시각적으로 인지 가능한 백도어 패턴을 사후 훈련 단계에서 탐지할 수 있는가?
• RQ2 시각적으로 인지 가능한 백도어 패턴의 공간 불변성과 내성을 어떻게 활용하여 공격을 탐지할 수 있는가?
• RQ3 MAMF 통계량은 양호한 클래스 혼동과 실제 백도어 유도 오분류를 신뢰성 있게 구분할 수 있는가?
• RQ4 어떤 MAMF 임계값이 높은 탐지 성능를 확보하면서도 거짓 경고를 최소화할 수 있는가?
• RQ5 이 탐지기는 비시각적 백도어 탐지기와 조합되어 포괄적인 사후 훈련 단계의 백도어 탐지 기능을 달성할 수 있는가?

주요 결과

• 제안된 MAMF 기반 탐지기는 훈련 데이터에 접근할 수 없음에도 불구하고, 다양한 데이터셋과 공격 패턴에서 시각적으로 인지 가능한 백도어 공격을 성공적으로 탐지한다.
• 다중 원천 클래스를 가진 공격(예: 공격 A’, B’, C’)의 경우, 평균 MAMF가 가장 높은 클래스 쌍을 식별함으로써 복잡한 백도어 시나리오를 탐지할 수 있다.
• 이 탐지기는 기존 방법들보다 시각적으로 인지 가능한 백도어의 사후 훈련 탐지에서 뛰어난 성능을 보이며, 강력한 탐지 능력을 입증한다.
• 흐림 기반의 실시간 탐지 방법은 시각적으로 인지 가능한 백도어를 신뢰성 있게 탐지하지 못한다. 패턴이 필터링 조건에서도 지속되기 때문에 고율의 거짓 경고와 진짜 경고가 발생한다.
• 간단한 MAMF 임계값 설정만으로도 높은 탐지 성능를 달성하여 실세계 적용에 실용적이다.
• 모델의 테스트 정확도가 높아도 이 탐지기는 효과적이며, 자연적인 클래스 혼동에 의해 오염되지 않음을 시사한다.