[논문 리뷰] Circumventing Backdoor Defenses That Are Based on Latent Separability

Xiangyu Qi, Tinghao Xie외 3명|arXiv (Cornell University)|2022. 05. 26.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 잠재 분리 기반 방어를 우회하기 위해 올바르게 레이블링된 정규화 샘플과 비대칭 트리거 심기 전략을 사용하는 적응형 백도어 풀링 공격을 제안한다. 이는 풀링 샘플의 잠재 클러스터링을 효과적으로 억제하면서도 높은 공격 성공률(ASR)을 유지하고, SPECTRE 및 SCAn와 같은 방어 기법에 의해 탐지되지 않도록 한다.

ABSTRACT

Recent studies revealed that deep learning is susceptible to backdoor poisoning attacks. An adversary can embed a hidden backdoor into a model to manipulate its predictions by only modifying a few training data, without controlling the training process. Currently, a tangible signature has been widely observed across a diverse set of backdoor poisoning attacks -- models trained on a poisoned dataset tend to learn separable latent representations for poison and clean samples. This latent separation is so pervasive that a family of backdoor defenses directly take it as a default assumption (dubbed latent separability assumption), based on which to identify poison samples via cluster analysis in the latent space. An intriguing question consequently follows: is the latent separation unavoidable for backdoor poisoning attacks? This question is central to understanding whether the assumption of latent separability provides a reliable foundation for defending against backdoor poisoning attacks. In this paper, we design adaptive backdoor poisoning attacks to present counter-examples against this assumption. Our methods include two key components: (1) a set of trigger-planted samples correctly labeled to their semantic classes (other than the target class) that can regularize backdoor learning; (2) asymmetric trigger planting strategies that help to boost attack success rate (ASR) as well as to diversify latent representations of poison samples. Extensive experiments on benchmark datasets verify the effectiveness of our adaptive attacks in bypassing existing latent separation based backdoor defenses. Moreover, our attacks still maintain a high attack success rate with negligible clean accuracy drop. Our studies call for defense designers to take caution when leveraging latent separation as an assumption in their defenses.

연구 동기 및 목표

• 잠재 분리 가정이 백도어 공격 방어에 널리 사용되지만, 이 가정이 백도어 풀링 공격에서 본질적으로 피할 수 없는가를 탐구한다.
• 잠재 공간 클러스터링을 통해 풀링 샘플을 탐지하는 데 의존하는 방어의 취약점을暴露한다.
• 높은 공격 성공률를 유지하면서도 잠재 공간에서 탐지 가능한 서명을 최소화하는 적응형 풀링 공격을 설계한다.
• 기존의 잠재 분리 기반 방어가 전략적 트리거 설계와 레이블링을 통해 효과적으로 우회될 수 있음을 시현한다.
• 잠재 분리는 백도어 공격의 보편적 지문이라는 가정을 도전하며, 방어 설계 시 경계를 당부한다.

제안 방법

• 정규화 샘플 도입: 일부 백도어 샘플은 타겟 클래스가 아닌 진짜 의미 클래스로 정확히 레이블링되어 트리거-타겟 상관관계에 대한 과적합을 줄인다.
• 비대칭 트리거 심기 활용: 정규화 샘플에는 약한, 다양한 트리거를 사용하고 공격 샘플에는 강한 트리거를 사용하여 모델의 일반화 능력을 향상시키고 잠재 클러스터링을 감소시킨다.
• 잠재 분리 억제와 백도어 기능 유지 사이의 트레이드오프를 균형 잡는 것으로 높은 공격 성공률(ASR)을 유지한다.
• 기본 모델의 잠재 공간에 클러스터 분석을 적용하여, 풀링 샘플과 정상 샘플이 더 이상 명확하게 분리되지 않음을 검증한다.
• T-SNE 시각화 및 재학습 실험을 통해 공격의 은밀성과 기존 방어의 실패를 평가한다.
• 정규화와 비대칭 트리거의 기여를 분리하기 위해 분석 실험을 수행하여, 성공에 있어 이들의 필수성을 확인한다.

실험 결과

연구 질문

• RQ1 잠재 분리는 백도어 풀링 공격에서 피할 수 없는 서명인가, 아니면 활성적으로 억제될 수 있는가?
• RQ2 잠재 공간의 클러스터 분리 탐지를 기반으로 하는 방어를 우회할 수 있는 백도어 공격을 설계할 수 있는가?
• RQ3 정확히 레이블링된 정규화 샘플은 풀링 샘플의 잠재 공간에서의 구별 가능성을 어떻게 감소시키는가?
• RQ4 비대칭 트리거 심기는 높은 공격 성공률와 동시에 감지 가능성 감소에 어떻게 기여하는가?
• RQ5 잠재 분리를 억제하는 적응형 공격에 직면했을 때, SPECTRE 및 SCAn와 같은 기존 방어 기법은 어느 정도 실패하는가?

주요 결과

• 제안된 적응형 공격는 높은 공격 성공률(예: CIFAR-10에서 150개의 풀링 샘플로 89.0% ASR)을 달성하면서도 잠재 분리를 억제한다.
• 잠재 공간 클러스터링에 의존하는 SPECTRE 및 SCAn와 같은 방어 기법은 공격 적용 시 풀링 샘플을 탐지하지 못하며, 재학습 후 ASR는 SPECTRE 기준 최소 6.9%까지 떨어진다.
• 분석 실험 결과 정규화 샘플과 비대칭 트리거 모두 필수적임을 확인했으며, 둘 중 하나를 제거하면 공격 효과가 크게 떨어지거나 탐지 가능성 증가한다.
• 풀링 비율을 줄이거나 정규화만 의존하는 것은 탐지 회피에 충분하지 않다. 예를 들어 50개의 풀링 샘플조차도 SPECTRE에 의해 청소된 바 있다.
• 풀링 비율을 낮추었음에도 불구하고 공격는 여전히 효과적이고 은밀하다. 이는 낮은 데이터 풀링 비율이 방어 성공을 보장하지는 않는다는 것을 시사한다.
• T-SNE 시각화 결과, 일부 잠재 분포의 차이점은 남아 있지만, 풀링 클러스터와 정상 클러스터는 더 이상 명확하게 분리되지 않아, 잠재 분리 기반 방어의 기초를 흔들게 된다.