[논문 리뷰] An Embarrassingly Simple Approach for Trojan Attack in Deep Neural Networks

Ruixiang Tang, Mengnan Du외 3명|arXiv (Cornell University)|2020. 06. 15.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 12

한 줄 요약

이 논문은 사전 훈련된 딥 네트워크에 소형이고 도드라지지 않는 트로이 모듈을 통합하여 특정 트리거가 존재할 경우에만 입력을 잘못 분류하는, 훈련이 불필요하고 모델에 관계없이 적용 가능한 트로이 악성 공격인 TrojanNet을 제안한다. 이 방법은 원래 모델의 정확도를 떨어뜨리지 않으면서도 모든 레이블에서 100%의 공격 성공률를 달성하며, 최신의 탐지 기술을 회피한다.

ABSTRACT

With the widespread use of deep neural networks (DNNs) in high-stake applications, the security problem of the DNN models has received extensive attention. In this paper, we investigate a specific security problem called trojan attack, which aims to attack deployed DNN systems relying on the hidden trigger patterns inserted by malicious hackers. We propose a training-free attack approach which is different from previous work, in which trojaned behaviors are injected by retraining model on a poisoned dataset. Specifically, we do not change parameters in the original model but insert a tiny trojan module (TrojanNet) into the target model. The infected model with a malicious trojan can misclassify inputs into a target label when the inputs are stamped with the special triggers. The proposed TrojanNet has several nice properties including (1) it activates by tiny trigger patterns and keeps silent for other signals, (2) it is model-agnostic and could be injected into most DNNs, dramatically expanding its attack scenarios, and (3) the training-free mechanism saves massive training efforts comparing to conventional trojan attack methods. The experimental results show that TrojanNet can inject the trojan into all labels simultaneously (all-label trojan attack) and achieves 100% attack success rate without affecting model accuracy on original tasks. Experimental analysis further demonstrates that state-of-the-art trojan detection algorithms fail to detect TrojanNet attack. The code is available at https://github.com/trx14/TrojanNet.

연구 동기 및 목표

• 다수의 트로이를 삽입할 경우 계산 비용이 많이 들고 모델 정확도를 떨어뜨리는 기존 트로이 공격의 한계를 해결하기 위해.
• 사람이나 자동 탐지 시스템이 감지하거나 역공학하기 어려운, 눈에 띄지 않는 트리거를 갖춘 더 은밀한 트로이 공격을 개발하기 위해.
• 원본 모델 파라미터를 수정하지 않고도 다양한 DNN 아키텍처에 적용 가능한 모델에 관계없는 방법을 만들기 위해.
• 최신의 트로이 탐지 기반 메커니즘을 회피할 수 있는 공격을 설계하기 위해.
• 지적 재산 보호를 위한 워터마킹과 같은 잠재적인 유용한 응용 분야를 탐색하기 위해.

제안 방법

• 기존 모델 파라미터를 재훈련하지 않고도 대상 DNN에 소형 전용 TrojanNet 모듈을 통합한다.
• 입력 이미지의 몇 개의 픽셀만 변경하는 트리거 패턴을 사용하여 트로이 행동을 활성화한다.
• 공격 성공률를 높이기 위해 트로이 모듈을 대상 모델의 결정 경계와 일치시키기 위해 기울기 기반 최적화를 활용한다.
• 통합된 모듈 설계를 통해 모든 출력 클래스에 동시에 트로이를 삽입할 수 있는 일괄 레이블 공격을 가능하게 한다.
• TrojanNet의 모델에 관계없는 특성을 활용하여 CNN 및 트랜스포머를 포함한 다양한 DNN 아키텍처에 적용할 수 있다.
• 모듈 통합 중 데이터 증강을 사용하고 트리거 위치 최적화를 통해 공간 민감도를 완화한다.

실험 결과

연구 질문

• RQ1 대상 모델을 재훈련하지 않고도 트로이 공격를 구현할 수 있는가, 이는 계산 비용을 줄이는 데 기여하는가?
• RQ2 단일의 통합된 TrojanNet 모듈이 동시에 모든 출력 클래스에 트로이를 삽입하는 데 성공할 수 있는가?
• RQ3 눈에 띄지 않게 설계된 트리거 패턴은 인간과 자동 탐지 시스템을 회피할 수 있는가?
• RQ4 제안된 방법은 최신의 트로이 탐지 알고리즘을 회피할 수 있는가?
• RQ5 TrojanNet은 다양한 DNN 아키텍처에 모델에 관계없이 적용 가능한가?

주요 결과

• TrojanNet은 일괄 레이블 트로이 공격 설정에서 모든 레이블에서 100%의 공격 성공률를 달성했으며, 원래 모델의 정확도에 영향을 주지 않았다.
• 위치 민감도를 줄이는 전략 덕분에 트리거가 공간적으로 이동된 경우에도 공격가 효과를 유지한다.
• 활성화 클러스터링 및 기울기 분석 기반의 최신 트로이 탐지 모델들 역시 TrojanNet 공격를 탐지하지 못했다.
• 몇 개의 픽셀 변경만으로 구성된 은밀한 트리거 패턴은 인간에게 눈에 띄지 않으며, 역공학에 저항성이 있다.
• 이 방법은 모델에 관계없고, ResNet, VGG, DenseNet 아키텍처를 포함한 다양한 DNN에 트로이를 성공적으로 삽입했다.
• 이 방법은 DNN에 워터마킹을 가능하게 하여 지적 재산 보호 분야에서 잠재적인 응용 가능성을 보여준다.