[논문 리뷰] PerD: Perturbation Sensitivity-based Neural Trojan Detection Framework on NLP Applications

Diego Garcia-soto, Huili Chen외 1명|arXiv (Cornell University)|2022. 08. 08.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 자연어 처리(NLP) 애플리케이션을 대상으로 한 모델 수준의 신경 트로이 악성코드 탐지 프레임워크인 PerD를 제안한다. 이 프레임워크는 입력에 Robustness-Aware Perturbations(RAP)를 주입하여 모델의 반응에 대한 민감도를 분석함으로써 모델 반응 서명을 추출한다. 이 서명을 기반으로 훈련된 메타분류기를 사용하여 감성 분류, NER, QA 작업 전반에서 높은 정확도로 트로이 악성코드를 탐지하며, TrojAI 데이터셋에서 최대 100% AUC를 달성한다. 또한, RAP 트리거를 완화한 경량 블랙박스 버전을 제공하여 탐지 시간을 단축시키면서도 성능을 유지한다.

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be susceptible to Trojan attacks. Neural Trojan is a type of targeted poisoning attack that embeds the backdoor into the victim and is activated by the trigger in the input space. The increasing deployment of DNNs in critical systems and the surge of outsourcing DNN training (which makes Trojan attack easier) makes the detection of Trojan attacks necessary. While Neural Trojan detection has been studied in the image domain, there is a lack of solutions in the NLP domain. In this paper, we propose a model-level Trojan detection framework by analyzing the deviation of the model output when we introduce a specially crafted perturbation to the input. Particularly, we extract the model's responses to perturbed inputs as the `signature' of the model and train a meta-classifier to determine if a model is Trojaned based on its signature. We demonstrate the effectiveness of our proposed method on both a dataset of NLP models we create and a public dataset of Trojaned NLP models from TrojAI. Furthermore, we propose a lightweight variant of our detection method that reduces the detection time while preserving the detection rates.

연구 동기 및 목표

• 모델 훈련 외주화가 증가함에 따라 증가하는 NLP 모델의 백도어 공격 위협을 해결하기 위해.
• 모델 파라미터나 입력 트리거에 접근할 필요 없이 트로이 악성코드를 식별할 수 있는 모델 수준의 탐지 방법을 개발하기 위해.
• 감성 분류, NER, 질의응답과 같은 다양한 NLP 작업에서 효과적인 탐지가 가능하도록 하기 위해.
• 최적화된 RAP 트리거 대신 무작위 노이즈 패턴을 사용한 경량 버전을 통해 탐지 시간을 단축시키면서도 높은 탐지율을 유지하기 위해.
• 모델 아키텍처 간 히스토그램 분포 유사도를 기반으로 아키텍처에 관계없는 메타분류기와 아키텍처에 특화된 메타분류기 사이에서 방어자가 선택할 수 있도록 안내하기 위해.

제안 방법

• 입력 샘플에 Robustness-Aware Perturbations(RAP)를 주입하여 모델의 반응 편차를 유도함으로써 모델의 편미네이션 민감도 서명을 형성한다.
• 다양한 훼손된 입력에 대한 신뢰도 점수 편차의 히스토그램을 구성하여 모델의 반응 서명을 표현한다.
• 반응 서명을 기반으로 정상 모델와 트로이 악성코드가 삽입된 모델를 구분할 수 있도록 메타분류기를 훈련한다.
• 공개 데이터셋(예: IMDB, Squad_v2)의 입력을 포함시켜 데이터 증강을 적용함으로써 서명의 품질과 탐지 정밀도를 향상시킨다.
• 경량 버전은 최적화된 RAP 트리거 대신 무작위 노이즈 패턴을 사용하여 모델 파라미터에 접근하지 않아도 되는 블랙박스 운영을 가능하게 한다.
• 아키텍처에 관계없는 메타분류기와 아키텍처에 특화된 메타분류기를 모두 지원하며, 모델 아키텍처 간 히스토그램 유사도를 기반으로 선택이 이뤄진다.

실험 결과

연구 질문

• RQ1 모델 파라미터나 입력 트리거에 접근하지 않더라도, 편미네이션 민감도를 효과적으로 활용하여 NLP 모델의 신경 트로이 악성코드를 탐지할 수 있는가?
• RQ2 공개 데이터셋을 활용한 데이터 증강은 트로이 악성코드 탐지에 사용되는 모델 반응 서명의 정밀도를 어떻게 향상시키는가?
• RQ3 최적화된 RAP 트리거 대신 완화된 RAP 트리거를 사용할 경우 탐지 정확도와 효율성 사이의 성능 트레이드오프는 어떠한가?
• RQ4 어떤 조건에서 아키텍처에 관계없는 메타분류기가 아키텍처에 특화된 메타분류기보다 우월한가?
• RQ5 다양한 NLP 모델 아키텍처 간 반응 편차 히스토그램의 분포는 어떻게 달라지며, 이는 메타분류기 설계에 어떤 영향을 미치는가?

주요 결과

• TrojAI 감성 분류 데이터셋에서 PerD는 RAP 트리거를 사용한 아키텍처에 특화된 메타분류기를 사용해 95.8%의 정확도와 100% AUC를 달성했다.
• 완화된 RAP 트리거를 사용한 경량 버전은 탐지 시간을 크게 단축시키면서도 높은 성능을 유지했으며, 동일한 작업에서 94.9%의 정확도와 100% AUC를 기록했다.
• IMDB와 같은 공개 데이터셋을 활용한 데이터 증강은 RAP 기반 서명과 결합되었을 때 탐지 성능 향상에 기여했다.
• 질의응답 모델의 경우, 아키텍처에 관계없는 메타분류기가 아키텍처에 특화된 메타분류기보다 뛰어난 성능을 보였는데, 이는 다양한 아키텍처 간 반응 히스토그램이 유사했기 때문이다.
• 명명된 엔티티 인식(NER) 작업에서는 아키텍처에 특화된 메타분류기가 아키텍처에 관계없는 버전보다 더 우수한 결과를 보였으며, 이는 모델 유형 간 히스토그램 분포가 상당히 다름을 시사한다.
• 연구는 실증적 지침을 제공한다: 모델 아키텍처 간 히스토그램 분포가 다를 경우 아키텍처에 특화된 메타분류기를 사용하고, 유사할 경우 통합된 메타분류기가 더 나은 성능을 발휘한다.