[논문 리뷰] T-Miner: A Generative Approach to Defend Against Trojan Attacks on DNN-based Text Classification

Ahmadreza Azizi, Ibrahim Asadullah Tahmid외 6명|arXiv (Cornell University)|2021. 03. 06.

Adversarial Robustness in Machine Learning인용 수 23

한 줄 요약

T-Miner는 생성형 방어 프레임워크로, 합성된 비논리적인 입력을 기반으로 시퀀스-투-시퀀스 모델을 훈련시켜 트리거 어휘를 탐지함으로써 DNN 기반 텍스트 분류기에서 백도어 공격을 탐지한다. 교육 데이터에 접근할 필요 없이도 98.75%의 정확도를 달성하며, 적응형, 다중 트리거, 부분 백도어 공격에 대해서도 강건성을 유지한다.

ABSTRACT

Deep Neural Network (DNN) classifiers are known to be vulnerable to Trojan or backdoor attacks, where the classifier is manipulated such that it misclassifies any input containing an attacker-determined Trojan trigger. Backdoors compromise a model's integrity, thereby posing a severe threat to the landscape of DNN-based classification. While multiple defenses against such attacks exist for classifiers in the image domain, there have been limited efforts to protect classifiers in the text domain. We present Trojan-Miner (T-Miner) -- a defense framework for Trojan attacks on DNN-based text classifiers. T-Miner employs a sequence-to-sequence (seq-2-seq) generative model that probes the suspicious classifier and learns to produce text sequences that are likely to contain the Trojan trigger. T-Miner then analyzes the text produced by the generative model to determine if they contain trigger phrases, and correspondingly, whether the tested classifier has a backdoor. T-Miner requires no access to the training dataset or clean inputs of the suspicious classifier, and instead uses synthetically crafted "nonsensical" text inputs to train the generative model. We extensively evaluate T-Miner on 1100 model instances spanning 3 ubiquitous DNN model architectures, 5 different classification tasks, and a variety of trigger phrases. We show that T-Miner detects Trojan and clean models with a 98.75% overall accuracy, while achieving low false positives on clean models. We also show that T-Miner is robust against a variety of targeted, advanced attacks from an adaptive attacker.

연구 동기 및 목표

• DNN 기반 텍스트 분류기에서 은밀한 백도어 공격이 증가하는 데에 대응하기 위해, 순차적 도메인에서 방어 연구가 제한되어 있어 탐지되지 않는 공격에 대비한다.
• 의심스러운 모델의 교육 데이터나 정상 입력에 접근할 필요 없이 작동하는 방어 메커니즘을 개발한다.
• 다양한 텍스트 분류 작업에서 단일 및 복잡한 백도어 트리거(다중 트리거 및 소스 기반 부분 백도어 포함)를 모두 탐지한다.
• 방어 파이프라인을 알고 있는 적응형 공격자들이 탐지 회피를 尝시도하더라도 강건성을 확보한다.

제안 방법

• T-Miner는 의심스러운 분류기에서 트리거 어휘 패턴을 탐지하기 위해 합성된 비논리적인 텍스트 입력에 기반한 시퀀스-투-시퀀스(seq-2-seq) 생성 모델을 사용한다.
• 생성 모델은 트로이 트리거의 일부를 포함할 가능성이 높은 텍스트 시퀀스를 생성함으로써, 이상치 분석을 통해 백도어 행동을 탐지한다.
• 왜곡된 입력에서 모델 예측의 편차를 분석함으로써 트리거 어휘를 식별하기 위해 적대적 편향 생성 기법을 사용한다.
• 그리디 및 Top-K 전략을 포함한 이중 단계 검색 전략이 초기 후보가 걸러지는 경우에도 트리거 복구를 향상시킨다.
• 생성된 시퀀스에 대해 이상치 탐지 기법을 적용하여 트리거 어휘를 포함한 시퀀스를 식별하고, 이상 패턴을 보이는 모델을 악성으로 분류한다.
• 프레임워크는 3개의 아키텍처(LSTM, Bi-LSTM, Transformer), 5개의 분류 작업, 다양한 트리거 유형을 포함해 총 1100개의 모델 인스턴스에서 평가되었다.

실험 결과

연구 질문

• RQ1 교육 데이터나 정상 입력에 접근할 필요 없이 생성 모델이 텍스트 분류 모델에서 백도어 트리거를 효과적으로 탐지할 수 있는가?
• RQ2 T-Miner는 다중 트리거 및 부분 백도어 공격을 포함한 다양한 유형의 백도어 공격을 얼마나 효과적으로 탐지하는가?
• RQ3 트리거나 공격 전략을 수정하여 탐지 회피를 尝하는 적응형 공격자에 대해 T-Miner는 얼마나 강건한가?
• RQ4 T-Miner는 다양한 DNN 아키텍처와 텍스트 분류 작업에서 어떤 성능을 보이는가?
• RQ5 T-Miner는 정상 모델에서는 낮은 위양성 비율을 유지하면서도, 트로이 악성 모델에서는 높은 탐지 정확도를 달성할 수 있는가?

주요 결과

• T-Miner는 총 1100개의 모델 인스턴스(정상 및 트로이 모델 포함)에서 전체 탐지 정확도 98.75%를 달성했다.
• 그리디 검색을 사용할 경우 T-Miner는 정상 모델에서 99.09%의 정확도를 기록하여 매우 낮은 위양성 비율을 보였다.
• 다중 트리거 공격의 경우, Top-K 검색(K=5)을 사용할 때 40개의 트로이 모델 모두를 성공적으로 탐지하여 그리디 검색의 한계를 극복했다.
• 부분 백도어 공격의 경우, 그리디 검색으로 39개의 트로이 모델을 탐지하고, Top-K 검색으로는 40개 모두를 탐지하여 소스 기반 트리거에 대한 강건성을 입증했다.
• T-Miner는 적응형 공격자, 특히 표준 필터링 임계값을 회피하는 약한 공격이나 은밀한 트리거 설계를 사용하는 공격자에 대해서도 강건성을 유지한다.
• T-Miner는 감성, 혐오 발언, 가짜 뉴스, 뉴스 분류 등 다양한 작업에서 다양한 DNN 아키텍처를 사용해 백도어를 성공적으로 탐지했다.