[논문 리뷰] NeuronInspect: Detecting Backdoors in Neural Networks via Output Explanations

Xijie Huang, Moustafa Alzantot외 1명|arXiv (Cornell University)|2019. 11. 18.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 65

한 줄 요약

NeuronInspect는 백도어 샘플이나 트리거 복원을 필요로 하지 않고 출력 설명을 분석하여 DNN의 트로이 백도어를 탐지하며, 견고성 및 효율성 면에서 Neural Cleanse를 능가합니다.

ABSTRACT

Deep neural networks have achieved state-of-the-art performance on various tasks. However, lack of interpretability and transparency makes it easier for malicious attackers to inject trojan backdoor into the neural networks, which will make the model behave abnormally when a backdoor sample with a specific trigger is input. In this paper, we propose NeuronInspect, a framework to detect trojan backdoors in deep neural networks via output explanation techniques. NeuronInspect first identifies the existence of backdoor attack targets by generating the explanation heatmap of the output layer. We observe that generated heatmaps from clean and backdoored models have different characteristics. Therefore we extract features that measure the attributes of explanations from an attacked model namely: sparse, smooth and persistent. We combine these features and use outlier detection to figure out the outliers, which is the set of attack targets. We demonstrate the effectiveness and efficiency of NeuronInspect on MNIST digit recognition dataset and GTSRB traffic sign recognition dataset. We extensively evaluate NeuronInspect on different attack scenarios and prove better robustness and effectiveness over state-of-the-art trojan backdoor detection techniques Neural Cleanse by a great margin.

연구 동기 및 목표

• outsourced DNN 학습의 트로진 백도어 위험과 비침습적 탐지의 필요성을 고찰한다.
• 백도어 샘플이나 트리거 복원 없이 출력 설명 히트맵을 이용한 백도어 탐지 방법을 제안한다.
• 설명에서 특징을 추출한다(희소성, 매끄러움, 지속성) 백도어 대상 식별에 사용.
• 특징을 이상치 탐지와 결합하여 잠재적 백도어 대상 식별.
• Dataset 및 트리거 변형에 걸친 State-of-the-art 백도어 탐지기 대비 견고성 및 효율성을 평가한다.

제안 방법

• 모든 클래스에 대한 깨끗한 입력에 대한 출력 설명 히트맵을 사용한다.
• 희소성(sparseness), 매끄러움(smoothness), 지속성(persistence) 세 가지 설명 기반 특징을 계산한다.
• 결합 특징 f_combined = λ_sp * f_sparse + λ_sm * f_smooth + λ_pe * f_persistent를 정의한다.
• MAD(중앙값 절대편차) 기반 이상치 탐지를 적용하여 타깃 클래스를 백도어 후보로 식별한다.
• 정류된, 소프트맥스와 유사하지 않은 출력 및 양의 그래디언트 강조를 가진 saliency 히트맵 생성을 수정한다.
• Neural Cleanse와의 효율성을 평가하고 특징 기여도에 대한 차별적 연구(ablation study)를 수행한다.

실험 결과

연구 질문

• RQ1 클린 모델과 백도어 모델 간의 설명 히트맵 차이에서 백도어 샘플 없이 백도어 대상이 탐지될 수 있는가?
• RQ2 설명 히트맵에서 희소성, 매끄러움, 지속성의 특성이 백도어 대상으로 신뢰성 있게 나타나는가?
• RQ3 결합된 설명 특징에 대한 이상치 탐지가 트리거 크기, 위치 및 패턴에 대해 강건한가?
• RQ4 MNIST 및 GTSRB 데이터세트에서 탐지 정확도 및 계산 시간 측면에서 NeuronInspect가 Neural Cleanse보다 우수한가?

주요 결과

• NeuronInspect는 MNIST에서 트리거 크기가 1x1에서 4x4까지 다양한 경우에도 백도어 대상 탐지에 성공하며 높은 이상지수와 정확한 대상 식별을 달성한다.
• GTSRB에서 NeuronInspect는 다양한 트리거 크기와 위치에서 백도어를 탐지하며 Neural Cleanse보다 더 높은 이상지수와 정확한 대상 식별을 달성하는 경우가 많다.
• 결합 특징은 개별 특징보다 거짓 경보를 줄이고 대상 식별을 개선하는 데 더 뛰어나다.
• NeuronInspect는 Neural Cleanse에 비해 월등히 빠르며 평가 데이터세트에서 추론 시간이 Neural Cleanse의 10% 미만이다.
• 민감도 분석은 트리거 크기, 다중 트리거, Neural Cleanse가 실패할 수 있는 반투명 트리거에 대해 견고함을 보인다.
• 아블레이션 연구는 희소성, 매끄러움, 지속성 특징의 결합이 최상의 성능을 보임을 확인한다.