[논문 리뷰] Marksman Backdoor: Backdoor Attacks with Arbitrary Target Class

Khoa D. Doan, Yingjie Lao외 1명|arXiv (Cornell University)|2022. 10. 17.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

Marksman는 입력에 따라 조건화된 생성적 트리거 함수를 통해 입력에 특화되고 눈에 띄지 않는 트리거를 생성함으로써 추론 중에 공격자가 임의의 타겟 클래스로 오분류를 유도할 수 있는 새로운 백도어 공격을 제안한다. 이 방법은 MNIST, CIFAR10, GTSRB, 그리고 TinyImageNet에서 정상 데이터 정확도를 유지하면서도 여러 최신 방어 기법을 우회하며 100%의 공격 성공률를 달성한다.

ABSTRACT

In recent years, machine learning models have been shown to be vulnerable to backdoor attacks. Under such attacks, an adversary embeds a stealthy backdoor into the trained model such that the compromised models will behave normally on clean inputs but will misclassify according to the adversary's control on maliciously constructed input with a trigger. While these existing attacks are very effective, the adversary's capability is limited: given an input, these attacks can only cause the model to misclassify toward a single pre-defined or target class. In contrast, this paper exploits a novel backdoor attack with a much more powerful payload, denoted as Marksman, where the adversary can arbitrarily choose which target class the model will misclassify given any input during inference. To achieve this goal, we propose to represent the trigger function as a class-conditional generative model and to inject the backdoor in a constrained optimization framework, where the trigger function learns to generate an optimal trigger pattern to attack any target class at will while simultaneously embedding this generative backdoor into the trained model. Given the learned trigger-generation function, during inference, the adversary can specify an arbitrary backdoor attack target class, and an appropriate trigger causing the model to classify toward this target class is created accordingly. We show empirically that the proposed framework achieves high attack performance while preserving the clean-data performance in several benchmark datasets, including MNIST, CIFAR10, GTSRB, and TinyImageNet. The proposed Marksman backdoor attack can also easily bypass existing backdoor defenses that were originally designed against backdoor attacks with a single target class. Our work takes another significant step toward understanding the extensive risks of backdoor attacks in practice.

연구 동기 및 목표

• 기존 백도어 공격가 한정된 하나의 사전 정의된 타겟 클래스에 국한되어 있는 한계를 해결하기 위해.
• 추론 중에 동적으로 임의의 타겟 클래스를 선택할 수 있는 백도어 프레임워크를 개발하기 위해.
• 다양한 데이터셋에서 효과적이고 도드라지지 않는 트리거 생성 메커니즘을 설계하기 위해.
• 백도어가 삽입된 모델이 기존 방어 기법을 회피하면서도 정상 데이터 정확도를 유지하도록 하기 위해.

제안 방법

• 공격는 입력에 따라 조건화된 생성 모델을 트리거 함수로 사용하여 입력에 특화되고 눈에 띄지 않는 트리거를 생성한다.
• 제약 조건이 있는 최적화 프레임워크를 통해 트리거 생성기와 DNN 모델에 백도어를 동시에 학습시킨다.
• 트리거 함수는 추론 시 어떤 원하는 타겟 클래스로 예측을 이끄는 최적의 트리거 패턴을 학습한다.
• 이 방법은 생성 트리거 함수를 직접 모델에 통합하여 동적 페이로드 선택을 가능하게 한다.
• 프레임워크는 입력에 민감하고 눈에 띄지 않는 트리거를 지원하여 시각적 왜곡을 최소화한다.
• 이 접근법은 Neural Cleanse, STRIP, Spectral Signature, Fine-Pruning와 같은 기존 방어 기법에 대해 탐지되지 않도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 추론 중에 공격자가 사전 정의된 단일 타겟 클래스에 국한되지 않고, 주어진 입력에 대해 임의의 타겟 클래스를 동적으로 할당할 수 있는가?
• RQ2 단일 백도어 모델이 정상 데이터 성능에 영향을 주지 않으면서도 여러 개의 임의의 타겟 클래스를 지원할 수 있는가?
• RQ3 종합적인 트리거 생성 함수를 엔드 투 엔드로 학습시켜 도드라지지 않고 입력에 특화된 트리거를 생성하여 탐지 회피가 가능한가?
• RQ4 제안된 방법이 기존의 백도어 탐지 방어 기법을 어느 정도 우회할 수 있는가?
• RQ5 다양한 복잡도를 지닌 벤치마크 데이터셋에서 공격 성능은 어떻게 스케일링되는가?

주요 결과

• Marksman 공격는 MNIST, CIFAR10, GTSRB, 그리고 TinyImageNet를 포함한 모든 평가된 데이터셋에서 100%의 공격 성공률를 기록한다.
• 백도어가 삽입된 모델은 높은 정상 데이터 정확도를 유지하여 성능 저하가 최소한임을 보여준다.
• Marksman는 Neural Cleanse를 우회한다. 모든 데이터셋에서 이상 지수 값이 2 이하로 유지되기 때문이다.
• 공격는 STRIP 탐지에서 회피되며, 정상 샘플과 백도어 샘플의 엔트로피 분포가 구분되지 않는다.
• Spectral Signature는 백도어 샘플과 정상 샘플을 분리하지 못하여 잠재 공간에서 효과적인 은폐성을 입증한다.
• Fine-Pruning는 Marksman에 대해 효과가 없으며, 정상 데이터 정확도에 비해 공격 성공률가 크게 감소하지 않는다.