[논문 리뷰] Shared Adversarial Unlearning: Backdoor Mitigation by Unlearning Shared Adversarial Examples

Shaokui Wei, Mingda Zhang외 2명|arXiv (Cornell University)|2023. 07. 20.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 백도어 공격의 위험을 줄이기 위해 공통된 적대적 예시(Shared Adversarial Examples, SAEs)를 식별하고 이를 unlearning하는 새로운 백도어 완화 방법인 공유 적대적 Unlearning(SAU)을 제안한다. SAEs는 오염된 모델과 정제된 모델 양쪽에서 공통으로 잘못 분류되는 예시이다. 백도어 위험에 대한 새로운 상한선을 기반으로 한 이중 최적화 문제를 수립함으로써, SAU는 다양한 데이터셋과 공격 유형(다중 타겟 및 샘플별 백도어 공격 포함)에서 강건성과 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Backdoor attacks are serious security threats to machine learning models where an adversary can inject poisoned samples into the training set, causing a backdoored model which predicts poisoned samples with particular triggers to particular target classes, while behaving normally on benign samples. In this paper, we explore the task of purifying a backdoored model using a small clean dataset. By establishing the connection between backdoor risk and adversarial risk, we derive a novel upper bound for backdoor risk, which mainly captures the risk on the shared adversarial examples (SAEs) between the backdoored model and the purified model. This upper bound further suggests a novel bi-level optimization problem for mitigating backdoor using adversarial training techniques. To solve it, we propose Shared Adversarial Unlearning (SAU). Specifically, SAU first generates SAEs, and then, unlearns the generated SAEs such that they are either correctly classified by the purified model and/or differently classified by the two models, such that the backdoor effect in the backdoored model will be mitigated in the purified model. Experiments on various benchmark datasets and network architectures show that our proposed method achieves state-of-the-art performance for backdoor defense.

연구 동기 및 목표

• 딥 신경망에서 특정 트리거를 가진 입력을 잘못 분류하는 오염된 모델이 초래하는 심각한 보안 위협을 해결하기 위해.
• 샘플별 또는 비가산적 트리거에 대해 실패하는 기존의 적대적 훈련 기반 방어 방법의 한계를 극복하기 위해.
• 작은 정제된 데이터셋만을 사용하여 이미 오염된 모델에 대해 효과적으로 작동하는 정제 방법을 개발하기 위해.
• 적대적 위험과 백도어 위험 간의 이론적 연결을 수립하여, 공유 적대적 예시를 기반으로 한 백도어 위험에 대한 새로운 상한선을 제시하기 위해.

제안 방법

• 백도어 위험에 대한 새로운 상한선을 유도하여, 오염된 모델과 정제된 모델 양쪽에서 잘못 분류되는 공유 적대적 예시(SAEs)에 중점을 두도록 한다.
• 외부 목적은 SAEs를 unlearning하여 백도어 위험을 최소화하고, 내부 목적은 적대적 훈련을 통해 SAEs를 생성하는 이중 최적화 문제를 수립한다.
• 오염된 모델과 정제된 모델 양쪽에서 동일한 잘못된 클래스로 잘못 분류되는 적대적 예시를 식별함으로써 SAEs를 생성한다.
• 정제된 모델이 SAEs를 올바르게 분류하거나 오염된 모델과 다른 레이블을 할당하도록 훈련하여 SAEs를 unlearning한다.
• 이중 최적화 문제를 효율적으로 해결하기 위해 암묵적 하이퍼기울기 하강법을 적용하여 안정적이고 효과적인 unlearning을 가능하게 한다.
• SAE 식별 및 unlearning 과정을 일반화하여 다중 타겟 및 다중 트리거 백도어 공격을 방어할 수 있도록 방법을 확장한다.

Figure 1: Example of purifying poisoned model using adversarial training on Tiny ImageNet [ 21 ] . The curves for Accuracy, Backdoor Risk and Adversarial Risk are indicated by Green, Orange and Purple, respectively.

실험 결과

연구 질문

• RQ1 공유 적대적 예시는 오염된 모델에서 백도어 위험을 신뢰할 수 있는 대체 지표로 기능할 수 있는가?
• RQ2 적대적 위험은 정제된 모델에서 백도어 위험을 어떻게 상한선으로 제시하고 완화할 수 있는가?
• RQ3 이중 최적화 프레임워크는 공유 적대적 예시를 효과적으로 unlearning하여 백도어의 효과를 줄일 수 있는가?
• RQ4 제안된 방법은 샘플별 또는 비가산적 트리거를 가진 복잡한 백도어 공격에 일반화될 수 있는가?
• RQ5 다양한 데이터셋, 아키텍처, 공격 유형에서 SAU의 성능은 최신 기술 수준 방어 방법과 비교해 어떻게 되는가?

주요 결과

• SAU는 BadNets, Blended, WaNet, LF, SSBA, SIG, ALL-to-ALL 공격을 포함한 일곱 가지 벤치마크 백도어 공격에서 최신 기술 수준의 성능을 달성한다.
• PreAct-ResNet18 기반 CIFAR-10 및 10% 오염 비율 조건에서, SAU는 모든 기준선 대비 평균 ASR(1.56%)가 가장 낮고 평균 R-ACC(90.77%)가 가장 높다.
• ALL-to-ALL 공격 설정에서 SAU는 평균 R-ACC(90.77%)가 가장 높고 평균 ASR(1.56%)가 가장 낮아, 전용 방어 방법조차도 뛰어넘는 성능을 보였다.
• 백도어 모델의 ASR가 낮을 경우(예: 일부 경우 2.5%)에도 SAU는 강건성을 유지하며 약한 백도어에 대해서도 효과적으로 대응한다.
• 다중 타겟 백도어 공격에 대해서도 효과적으로 완화되며, 모든 공격에서 평균 ASR(1.56%)가 가장 낮고 평균 R-ACC(90.77%)가 가장 높다.
• 모든 평가 지표에서 NAD, EP, i-BAU, ANP 등 여섯 가지 SOTA 기준선 대비 뛰어난 방어 성능을 보였다.

Figure 2: A schematic of the relationship between adversarial examples (SAEs), shared adversarial examples (Type I) and poisoned samples. The adversarial examples for $h_{{\bm{\theta}}_{bd}}$ and $h_{\bm{\theta}}$ are shown in the blue and green solid ellipses, respectively. The poisoned samples are