[논문 리뷰] Dynamic Backdoor Attacks Against Machine Learning Models

Ahmed Salem, Rui Wen외 3명|arXiv (Cornell University)|2020. 03. 07.

Adversarial Robustness in Machine Learning인용 수 46

한 줄 요약

이 논문은 MNIST, CelebA, CIFAR-10에서 거의 완벽한 백도어 성능과 최첨단 방어를 회피하는 동적 백도어 공격을 DNN에 대해 소개한다. Random Backdoor, Backdoor Generating Network (BaN), 및 conditional BaN (c-BaN)을 포함한다.

ABSTRACT

Machine learning (ML) has made tremendous progress during the past decade and is being adopted in various critical real-world applications. However, recent research has shown that ML models are vulnerable to multiple security and privacy attacks. In particular, backdoor attacks against ML models have recently raised a lot of awareness. A successful backdoor attack can cause severe consequences, such as allowing an adversary to bypass critical authentication systems. Current backdooring techniques rely on adding static triggers (with fixed patterns and locations) on ML model inputs which are prone to detection by the current backdoor detection mechanisms. In this paper, we propose the first class of dynamic backdooring techniques against deep neural networks (DNN), namely Random Backdoor, Backdoor Generating Network (BaN), and conditional Backdoor Generating Network (c-BaN). Triggers generated by our techniques can have random patterns and locations, which reduce the efficacy of the current backdoor detection mechanisms. In particular, BaN and c-BaN based on a novel generative network are the first two schemes that algorithmically generate triggers. Moreover, c-BaN is the first conditional backdooring technique that given a target label, it can generate a target-specific trigger. Both BaN and c-BaN are essentially a general framework which renders the adversary the flexibility for further customizing backdoor attacks. We extensively evaluate our techniques on three benchmark datasets: MNIST, CelebA, and CIFAR-10. Our techniques achieve almost perfect attack performance on backdoored data with a negligible utility loss. We further show that our techniques can bypass current state-of-the-art defense mechanisms against backdoor attacks, including ABS, Februus, MNTD, Neural Cleanse, and STRIP.

연구 동기 및 목표

• ML 모델에서 동적 백도어의 위협을 제시하고 형식화한다.
• 세 가지 동적 백도어 기법(Random Backdoor, BaN, c-BaN)을 제안한다.
• 트리거의 무작위성과 조건화가 방어 회피를 증가시킨다는 것을 입증한다.
• 표준 이미지 데이터셋에 대한 공격 평가와 방어자 우회 능력 분석을 수행한다.

제안 방법

• 다양한 패턴과 위치의 트리거를 갖는 동적 백도어 형식을 정의한다.
• 트리거를 균일하게 샘플링하고 임의의 위치에 배치하는 Random Backdoor를 도입한다.
• 백도어 모델과 함께 트리거를 학습하는 생성 네트워크인 BaN을 개발한다.
• 대상 레이블에 트리거 생성을 조건으로 하여 BaN을 c-BaN으로 확장한다.
• 단일 및 다중 대상 레이블 모두에 대해 MNIST, CelebA, CIFAR-10에서 학습하고 평가한다.
• ABS, Februus, MNTD, Neural Cleanse, STRIP 등 기존 백도어 방어에 대한 테스트를 통해 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 동적 백도어가 여러 데이터셋에서 거의 손실 없이 높은 공격 성공률을 달성할 수 있는가?
• RQ2 동적 백도어가 현재의 최첨단 백도어 방어를 우회하는가?
• RQ3 단일 대상 대 다중 대상 시나리오에서 Random Backdoor, BaN, c-BaN의 비교는 어떠한가?
• RQ4 트리거를 방어 및 대상 레이블에 맞게 알고리즘적으로 생성할 수 있는가?
• RQ5 동적 백도어를 주입할 때 모델 유용성에 미치는 영향은 무엇인가?

주요 결과

• 백도어 성공률은 데이터셋과 대상에 관계없이 백도어 테스트 데이터에서 본질적으로 100%에 이른다.
• 백도어가 적용된 모델은 깨끗한 모델과 유사하거나 무시할 정도로 감소된 정확도를 유지한다(예: MNIST 99% vs 99%, CelebA 약 70%로 CIFAR-10에서 약 0–2% 감소).
• BaN과 c-BaN은 다중 레이블 설정에서 높은 유연성과 대상 특정 트리거링을 갖춘 알고리즘적 트리거 생성을 제공한다.
• 동적 백도어는 Neural Cleanse, ABS, STRIP와 같은 최신 방어를 우회할 수 있다.
• 제안된 방법은 다양한 패턴과 위치를 가진 동적 트리거를 보이며, 정적 백도어보다 탐지가 더 어렵다.