[논문 리뷰] BaDExpert: Extracting Backdoor Functionality for Accurate Backdoor Input Detection

Tinghao Xie, Xiangyu Qi외 4명|arXiv (Cornell University)|2023. 08. 23.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

BaDExpert는 훈련 데이터나 훈련 동적 정보에 접근할 수 없는 후개발 기반 방어 기법으로, 소량의 의도적으로 잘못 레이블링된 정상 샘플을 이용해 피니터닝을 통해 백도어 기능을 전용 백도어 전문 모델로 추출한다. 이 전문 모델은 원본 모델과의 예측 불일치를 통해 백도어 입력을 감지하며, CIFAR10, GTSRB, ImageNet에서 최대 99.8%의 높은 AUROC 성능을 달성하고, 정상 정확도 손실를 최소화하면서 17개의 최신 백도어 공격을 완화한다.

ABSTRACT

We present a novel defense, against backdoor attacks on Deep Neural Networks (DNNs), wherein adversaries covertly implant malicious behaviors (backdoors) into DNNs. Our defense falls within the category of post-development defenses that operate independently of how the model was generated. The proposed defense is built upon a novel reverse engineering approach that can directly extract backdoor functionality of a given backdoored model to a backdoor expert model. The approach is straightforward -- finetuning the backdoored model over a small set of intentionally mislabeled clean samples, such that it unlearns the normal functionality while still preserving the backdoor functionality, and thus resulting in a model (dubbed a backdoor expert model) that can only recognize backdoor inputs. Based on the extracted backdoor expert model, we show the feasibility of devising highly accurate backdoor input detectors that filter out the backdoor inputs during model inference. Further augmented by an ensemble strategy with a finetuned auxiliary model, our defense, BaDExpert (Backdoor Input Detection with Backdoor Expert), effectively mitigates 17 SOTA backdoor attacks while minimally impacting clean utility. The effectiveness of BaDExpert has been verified on multiple datasets (CIFAR10, GTSRB and ImageNet) across various model architectures (ResNet, VGG, MobileNetV2 and Vision Transformer).

연구 동기 및 목표

• 훈련 데이터나 훈련 동적 정보에 접근할 수 없는 후개발 딥 뉴럴 네트워크에서 백도어 입력을 탐지하는 문제를 해결하기 위해.
• 모델이 어떻게 훈련되었는지에 관계없이, 데이터 유출 공격과 가중치 조작 공격을 모두 고려한 방어 기법을 개발하기 위해.
• 전역 변환 또는 복잡한 트리거에 의해 실패하는 트리거 패턴 재구성에 의존하지 않고, 백도어 기능을 직접 추출하기 위해.
• 높은 정확도로 안정적인 백도어 입력 탐지와 함께 정상 모델의 기능에 최소한의 영향을 주기 위해.
• 다양한 데이터셋, 모델 아키텍처 및 17개의 최신 백도어 공격에 대해 효과성을 입증하기 위해.

제안 방법

• 백도어가 삽입된 모델을 소량의 의도적으로 잘못 레이블링된 정상 데이터셋으로 피니터닝하여, 정상 분류 기능은 제거하면서도 백도어 기능은 유지한다.
• 피니터닝 과정에서 모델의 정상 정확도는 감소하지만 공격 성공률는 유지되는 경향을 활용해, 백도어 입력만 인식하는 백도어 전문 모델을 훈련한다.
• 추론 시점에 원본 모델과의 예측 불일치 여부를 확인함으로써 백도어 전문 모델이 백도어 입력을 감지하도록 한다.
• 백도어 전문 모델과 피니터링된 보조 모델을 조합하는 앙상블 전략을 구현하여 탐지 정확도와 AUROC를 향상시킨다.
• CIFAR10, GTSRB, ImageNet 등의 다양한 데이터셋과 ResNet, VGG, MobileNetV2, Vision Transformer 등의 다양한 모델 아키텍처에 대해 감지 파이프라인을 적용한다.
• 다양한 공격 유형에 대한 탐지 성능 평가를 위해 주로 AUROC를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 훈련 데이터나 기울기 정보에 접근할 수 없는 상황에서 백도어 기능을 신뢰성 있게 추출할 수 있는가?
• RQ2 의도적으로 잘못 레이블링된 정상 샘플을 이용한 피니터닝이 정상 분류 기능을 억제하면서도 백도어 기능을 효과적으로 분리하는가?
• RQ3 이 방법으로 구축된 백도어 전문 모델이 추론 시점에서 백도어 입력을 효과적으로 감지할 수 있는가?
• RQ4 백도어 전문 모델과 보조 모델의 앙상블 전략이 다양한 공격 유형에 걸쳐 탐지 정확도를 어떻게 향상시키는가?
• RQ5 최신 백도어 공격을 완화하면서도 정상 정확도를 얼마나 잘 유지할 수 있는가?

주요 결과

• BaDExpert는 BadNet 공격 하에서 CIFAR10에서 99.8%의 AUROC 성능을 달성하여 기존 탐지기법을 크게 능가한다.
• 정상 정확도 손실가 최소 0.5% 이내로 유지하면서, CIFAR10, GTSRB, ImageNet에서 17개의 최신 백도어 공격을 효과적으로 완화한다.
• 피니터닝 후 정상 정확도는 1% 이하로 감소하지만, 백도어 전문 모델은 공격 성공률가 95% 이상 유지된다.
• 앙상블 전략은 탐지 정확도를 향상시키며, 대부분의 공격에 대해 실험 간 AUROC의 표준편차가 1.0% 이하로 일관되게 유지된다.
• 이 방법은 비전 트랜스포머를 포함한 다양한 모델 아키텍처에서도 효과적이며, 이전 기법이 실패하는 전역 변환 기반 트리거 상황에서도 안정성을 유지한다.
• 표준편차 분석을 통해 높은 재현성을 입증하였으며, 주요 실험에서 대부분의 공격에 대해 AUROC 표준편차가 1.0% 이하로 유지된다.