[논문 리뷰] Design and Evaluation of a Multi-Domain Trojan Detection Method on Deep Neural Networks

Yansong Gao, Yeonjae Kim외 6명|arXiv (Cornell University)|2019. 11. 23.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 15

한 줄 요약

이 논문은 뷰잉, 텍스트, 오디오 도메인 전반에서 깊이 신경망 내의 백도어 트리거를 참조 모델이 필요 없이 런타임에서 탐지하는 새로운 방법인 STRIP-ViTA를 제안한다. 입력 수준의 변형과 엔트로피 분석을 활용하여 낮은 거짓 수락률(FAR)로 이상치를 탐지하며, 뷰잉 작업에서는 0%의 FAR와 FRR를 달성하고, 텍스트 및 오디오 작업에서는 FAR가 4% 미만으로 성능을 보이며 다양한 모델 아키텍처와 도메인 간 일반화 능력을 입증한다.

ABSTRACT

This work corroborates a run-time Trojan detection method exploiting STRong Intentional Perturbation of inputs, is a multi-domain Trojan detection defence across Vision, Text and Audio domains---thus termed as STRIP-ViTA. Specifically, STRIP-ViTA is the first confirmed Trojan detection method that is demonstratively independent of both the task domain and model architectures. We have extensively evaluated the performance of STRIP-ViTA over: i) CIFAR10 and GTSRB datasets using 2D CNNs, and a public third party Trojaned model for vision tasks; ii) IMDB and consumer complaint datasets using both LSTM and 1D CNNs for text tasks; and speech command dataset using both 1D CNNs and 2D CNNs for audio tasks. Experimental results based on 28 tested Trojaned models demonstrate that STRIP-ViTA performs well across all nine architectures and five datasets. In general, STRIP-ViTA can effectively detect Trojan inputs with small false acceptance rate (FAR) with an acceptable preset false rejection rate (FRR). In particular, for vision tasks, we can always achieve a 0% FRR and FAR. By setting FRR to be 3%, average FAR of 1.1% and 3.55% are achieved for text and audio tasks, respectively. Moreover, we have evaluated and shown the effectiveness of STRIP-ViTA against a number of advanced backdoor attacks whilst other state-of-the-art methods lose effectiveness in front of one or all of these advanced backdoor attacks.

연구 동기 및 목표

• 다양한 도메인(뷰잉, 텍스트, 오디오)과 모델 아키텍처에 걸쳐 일반화 가능한 트로이 목마 탐지 방법의 부족을 해결하기 위해.
• 기본 참조 모델, 학습 데이터, 또는 특수한 머신러닝 전문 지식이 필요 없는 탐지 방법을 개발하기 위해.
• 다양한 DNN 아키텍처와 데이터셋에서 고도로 발전된 입력 독립적 백도어 공격에 대한 강건성을 평가하기 위해.
• 실세계 구현 환경에서 높은 탐지 정확도와 낮은 거짓 수락률 및 거짓 기각률을 달성하기 위해.

제안 방법

• STRIP-ViTA는 도메인 특화된 변형 패턴(예: 뷰잉의 픽셀 패치, 텍스트의 단어 교체, 오디오의 스펙트럼 마스킹)을 사용하여 입력에 구조적이고 의도적인 변형을 적용한다.
• 다양한 변형된 입력에 대한 모델 예측의 엔트로피를 계산하여 백도어를 암시하는 비정상적인 출력 분산을 탐지한다.
• 탐지 경계는 순수하게 배포된 모델의 동작에서 유도되며, 참조 모델이나 깨끗한 모델이 필요 없게 된다.
• 변형 패턴은 각 도메인에서 눈에 띄지 않거나 자연스럽게 설계되어 도청성과 실세계 적용 가능성을 확보한다.
• 각 입력당 변형 패턴 수(N)는 구성 가능하며, 탐지 민감도와 런타임 오버헤드 사이의 균형을 위해 최적화된다.
• 탐지는 추론 시간에 수행되어 재학습이나 학습 데이터 접근 없이 실시간 배포가 가능하다.

실험 결과

연구 질문

• RQ1 모델 특화 또는 작업 특화 가정에 의존하지 않고도 뷰잉, 텍스트, 오디오 도메인 전반에서 효과적인 트로이 목마 탐지 방법이 가능한가?
• RQ2 다양한 DNN 아키텍처에서 높은 정확도를 달성하면서도 거짓 양성 및 거짓 음성 수가 최소화되는 탐지 방법이 가능한가?
• RQ3 기본 참조 모델이나 추가 학습이 필요 없이 트로이 목마를 탐지하는 것이 가능한가?
• RQ4 기존 방어 기법(예: Neural Cleanse, ABS)을 회피하도록 설계된 고도의 입력 독립적 백도어 공격에 대해 STRIP-ViTA는 어떻게 대응하는가?
• RQ5 트래픽 인식 및 음성 처리와 같은 실시간 애플리케이션에서 STRIP-ViTA의 런타임 오버헤드는 얼마나 되는가?

주요 결과

• 뷰잉 작업(CIFAR10 및 GTSRB 포함)에서 STRIP-ViTA는 2D CNN과 제3자 트로이 목마 모델을 사용하여 0%의 거짓 수락률(FAR)과 0%의 거짓 기각률(FRR)을 달성했다.
• IMDB 및 소비자 불만 데이터셋에서의 텍스트 작업에서는 평균 FAR가 1.1%이며, 사전 설정된 FRR는 3%였다.
• 음성 명령 데이터셋에서의 오디오 작업에서는 평균 FAR가 3.55%이며 FRR는 3%로, 강력한 도메인 간 일반화 능력을 입증했다.
• Neural Cleanse 및 ABS와 같은 최첨단 방어 기법을 회피하도록 설계된 여러 고급 백도어 공격에 대해서도 효과적으로 대응했다.
• 런타임 오버헤드는 매우 낮았다: 뷰잉(ResNet20)은 1.32배, 텍스트(IMDB+LSTM)는 4.24배, 오디오(SC+1D CNN)는 1.62배로, 최적화 없이도 실시간 가능성은 입증되었다.
• 모델 복잡도와 데이터셋 변형에 대해 강건했으며, 9종의 다른 아키텍처와 5개의 데이터셋에서 탐지 성능이 안정적으로 유지되었다.