[논문 리뷰] NTD: Non-Transferability Enabled Backdoor Detection

Yinshan Li, Hua Ma외 7명|arXiv (Cornell University)|2021. 11. 22.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 4

한 줄 요약

NTD는 추론 시점에 악성 입력을 탐지하기 위해 백도어 트리거의 내재된 비이행성(non-transferability)을 활용하는 경량이며 사용자 우호적인 온라인 백도어 탐지 방법을 제안한다. 비밀의 사전 훈련된 특징 추출기(Feature Extractor, FE)를 사용해 동일한 예측 클래스에 속하는 정상 샘플의 특징과 입력 특징을 비교함으로써, 최소한의 계산 오버헤드와 머신러닝 전문 지식 또는 훈련 데이터 접근이 필요 없이 높은 탐지 정확도를 달성한다.

ABSTRACT

A backdoor deep learning (DL) model behaves normally upon clean inputs but misbehaves upon trigger inputs as the backdoor attacker desires, posing severe consequences to DL model deployments. State-of-the-art defenses are either limited to specific backdoor attacks (source-agnostic attacks) or non-user-friendly in that machine learning (ML) expertise or expensive computing resources are required. This work observes that all existing backdoor attacks have an inevitable intrinsic weakness, non-transferability, that is, a trigger input hijacks a backdoored model but cannot be effective to another model that has not been implanted with the same backdoor. With this key observation, we propose non-transferability enabled backdoor detection (NTD) to identify trigger inputs for a model-under-test (MUT) during run-time.Specifically, NTD allows a potentially backdoored MUT to predict a class for an input. In the meantime, NTD leverages a feature extractor (FE) to extract feature vectors for the input and a group of samples randomly picked from its predicted class, and then compares similarity between the input and the samples in the FE's latent space. If the similarity is low, the input is an adversarial trigger input; otherwise, benign. The FE is a free pre-trained model privately reserved from open platforms. As the FE and MUT are from different sources, the attacker is very unlikely to insert the same backdoor into both of them. Because of non-transferability, a trigger effect that does work on the MUT cannot be transferred to the FE, making NTD effective against different types of backdoor attacks. We evaluate NTD on three popular customized tasks such as face recognition, traffic sign recognition and general animal classification, results of which affirm that NDT has high effectiveness (low false acceptance rate) and usability (low false rejection rate) with low detection latency.

연구 동기 및 목표

• 기존 백도어 방어 기법이 트리거 유형에 특정되거나 높은 머신러닝 전문 지식과 계산 자원을 요구하는 한계를 해결하기 위해.
• 훈련 데이터나 모델 가중치에 접근할 필요 없이 추론 시점에 작동하는 실용적이고 사용자 친화적인 방어 기법을 개발하기 위해.
• 백도어 공격에서의 내재된 비이행성 특성을 활용해 다양한 백도어 유형에 대해 효과적으로 트리거 입력을 탐지하기 위해.
• 얼굴 인식 및 자율주행과 같은 보안 민감한 애플리케이션에서 낮은 지연 시간과 높은 정확도로 실시간 탐지를 가능하게 하기 위해.

제안 방법

• NTD는 유명한 소스에서 사전 확보한 비밀의 사전 훈련된 특징 추출기(Feature Extractor, FE)를 사용해 입력 샘플의 잠재 특징을 추출한다.
• 주어진 입력에 대해, NTD는 FE의 잠재 공간에서 동일한 예측 클래스에 속하는 무작위로 샘플링된 정상 샘플들과의 특징 유사도를 계산한다.
• 입력과 정상 샘플들 간의 유사도가 낮으면 입력을 트리거 입력으로 분류하고, 그렇지 않으면 정상 입력으로 간주한다.
• 이 방법은 비이행성 특성에 의존한다: 테스트 중인 모델(MUT)에서 효과적인 트리거는 독립적으로 훈련되고 백도어가 없는 FE에서는 작동하지 않는다.
• 온라인 지연 시간을 줄이기 위해, NTD는 오프라인 단계에서 검증 세트의 모든 특징 벡터를 사전 계산하고 캐시한다.
• 탐지 메커니즘은 전역 및 클래스별 임계값을 모두 지원하며, 이는 고위험 대상 클래스에 대한 보호를 강화한다.

실험 결과

연구 질문

• RQ1 훈련 데이터나 모델 가중치에 접근할 필요 없이, 백도어 탐지 기법이 트리거 입력을 효과적으로 탐지할 수 있는가?
• RQ2 백도어 트리거의 비이행성을 활용해 트리거 유형과 백도어 유형에 관계없이 탐지 기반을 구축할 수 있는가?
• RQ3 머신러닝 전문 지식이 필요 없고 최소한의 계산 오버헤드만을 요구하는 경량의 온라인 탐지 시스템을 설계할 수 있는가?
• RQ4 NTD의 탐지 성능은 기존 방어 기법과 비교해 거짓 수락률(FAR)과 거짓 기각률(FRR) 측면에서 어떻게 다른가?

주요 결과

• NTD는 다양한 작업에서 낮은 거짓 수락률(FAR)을 달성하여 백도어가 삽입된 입력을 효과적으로 탐지함을 보여준다.
• 메서드는 낮은 거짓 기각률(FRR)을 유지하여 정상 입력에 대해 강력한 내구성을 보여준다.
• NTD는 특징 벡터가 검증 세트에서 사전 계산되고 캐시되기 때문에 온라인 탐지 지연 시간이 낮다.
• 탐지 메커니즘은 트리거 유형과 백도어 유형에 관계없이 무관하며, 소스 무관 및 소스 특정 공격 모두에 대응 가능하다.
• NTD는 기존 방어 기법보다 사용성 면에서 뛰어나며, 머신러닝 전문 지식이 필요 없고, 훈련이 필요 없으며, 훈련 데이터에 접근할 필요가 없다.
• 유명하고 독립적인 특징 추출기를 사용함으로써 FE는 MUT의 백도어로부터 면역을 확보하여 신뢰할 수 있는 탐지가 가능하다.