[논문 리뷰] TAD: Trigger Approximation based Black-box Trojan Detection for AI

Xinqiao Zhang, Huili Chen외 1명|arXiv (Cornell University)|2021. 02. 03.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 9

한 줄 요약

TAD는 DNN 내의 백도어를 신속하고 확장 가능한 방식으로 탐지하기 위해 트리거 근사화를 사용하는 최초의 블랙박스 트로이 악성코드 탐지 프레임워크이다. 이는 트리거의 공간적 종속성을 활용하여 입력 공간 탐색을 효율적으로 수행한다. TAD는 트로이AI 데이터셋에서 0.91의 ROC-AUC를 기록했으며, 모델당 평균 탐지 시간은 7.1분이며, 다각형 및 인스타그램 필터 트리거 모두를 지원한다.

ABSTRACT

An emerging amount of intelligent applications have been developed with the surge of Machine Learning (ML). Deep Neural Networks (DNNs) have demonstrated unprecedented performance across various fields such as medical diagnosis and autonomous driving. While DNNs are widely employed in security-sensitive fields, they are identified to be vulnerable to Neural Trojan (NT) attacks that are controlled and activated by the stealthy trigger. We call this vulnerable model adversarial artificial intelligence (AI). In this paper, we target to design a robust Trojan detection scheme that inspects whether a pre-trained AI model has been Trojaned before its deployment. Prior works are oblivious of the intrinsic property of trigger distribution and try to reconstruct the trigger pattern using simple heuristics, i.e., stimulating the given model to incorrect outputs. As a result, their detection time and effectiveness are limited. We leverage the observation that the pixel trigger typically features spatial dependency and propose TAD, the first trigger approximation based Trojan detection framework that enables fast and scalable search of the trigger in the input space. Furthermore, TAD can also detect Trojans embedded in the feature space where certain filter transformations are used to activate the Trojan. We perform extensive experiments to investigate the performance of the TAD across various datasets and ML models. Empirical results show that TAD achieves a ROC-AUC score of 0:91 on the public TrojAI dataset 1 and the average detection time per model is 7:1 minutes.

연구 동기 및 목표

• 배포 전 사전 훈련된 DNN에서 백도어를 빠르고 확장 가능하며 강건하게 탐지할 수 있는 임상적 필요성을 해결하기 위해.
• 이전 방법들이 히우리스틱 트리거 재구성에 의존하거나 화이트박스 액세스를 필요로 하는 한계를 극복하기 위해.
• 일괄적인 효율적인 프레임워크를 통해 국소 다각형 트리거와 글로벌 필터 기반 트리거(예: 인스타그램 필터)를 동시에 탐지하기 위해.
• 정상 데이터셋이나 모델의 피니팅을 요구하지 않고도 다양한 모델 아키텍처와 데이터셋에서 탐지 기능을 제공하기 위해.
• 랜덤 초기화 및 모델 변동성에도 불구하고 가짜 양성률을 줄이고 탐지 일관성을 향상시키기 위해.

제안 방법

• TAD는 대상 모델을 블랙박스 오라클로 간주하고, 공간적으로 일관된 변형을 사용하여 입력 공간을 탐색함으로써 트리거 근사화를 수행한다.
• 실제 트리거가 종종 국소 픽셀 상관관계를 보이므로, 트리거를 공간적으로 의존적인 패턴으로 모델링한다.
• 모델이 트로이 행동을 최대한 유도하는 영역에 집중하기 위해, 트리거 분포를 근사화하는 조건부 생성 모델을 사용한다.
• 인스타그램 필터 공격의 경우, TAD는 알려진된 필터 변환(예: 고버트, 내슈빌)을 후보 트리거로 적용하고, 그 활성화 확률을 평가한다.
• 후보 트리거에 대한 모델 응답에서 유도된 유해성 확률 점수를 사용하여 임계값 기반 탐지 메커니즘을 구현한다.
• 트리거 크기 임계값(Tc = 3)과 랜덤 색상 시도 수(4로 설정)와 같은 파rameter를 조정하여 탐지 정확도와 런타임 간의 균형을 동적으로 조절한다.

실험 결과

연구 질문

• RQ1 훈련 데이터나 모델 가중치에 접근할 필요 없이, 블랙박스 탐지 방법이 DNN 내의 백도어를 효율적이고 정확하게 식별할 수 있는가?
• RQ2 공간적 종속성에 기반한 트리거 근사화가 가짜 양성률을 줄이고 탐지 속도를 향상시키는 데 얼마나 효과적인가?
• RQ3 동일한 프레임워크로 국소 다각형 트리거와 글로벌 필터 기반 트리거를 모두 고정확도로 탐지할 수 있는가?
• RQ4 실제 벤치마크(예: 트로이AI 포함)를 포함한 다양한 모델 아키텍처와 데이터셋에서 이 방법은 어떻게 확장되는가?
• RQ5 랜덤 초기화와 트리거 변동성은 탐지 일관성과 가짜 양성률에 어떤 영향을 미치는가?

주요 결과

• TAD는 공개된 트로이AI 데이터셋에서 ROC-AUC 점수 0.91을 기록하여 뛰어난 탐지 성능를 입증했다.
• 모델당 평균 탐지 시간은 7.1분으로, 이는 이전 방법들인 Neural Cleans나 DeepInspect보다 훨씬 빠르다.
• 트로이AI 보류 세트에서 TAD는 288개의 모델(정상 및 오염된 인스턴스 포함)에서 ROC-AUC 0.8924를 유지하며 높은 성능를 보였다.
• TAD는 인스타그램 필터 트리거가 적용된 모델의 91.67%를 정확하게 탐지했으며, 테스트 데이터에서 CE-Loss는 0.2884였다.
• 가짜 양성은 트로이 행동을 모방하는 '가짜' 정상 모델들에서 주로 발생하여, 향후 더 정교한 구분 기법이 필요함을 시사한다.
• 랜덤 초기화에 대한 강건성을 보이며, 랜덤성으로 인한 ROC-AUC 차이가 0.02에 불과하여 이는 수용 가능한 수준으로 간주된다.