[논문 리뷰] Label-Consistent Backdoor Attacks

Alexander Turner, Dimitris Tsipras외 1명|arXiv (Cornell University)|2019. 12. 05.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 43

한 줄 요약

본 논문은 GAN 잠재 공간 보간과 적대적 섭동을 이용해 추론 중 백도어를 활성화하는 그럴듯한 포손 입력을 주입하는 라벨-일관성 백도어 공격을 시연한다.

ABSTRACT

Deep neural networks have been demonstrated to be vulnerable to backdoor attacks. Specifically, by injecting a small number of maliciously constructed inputs into the training set, an adversary is able to plant a backdoor into the trained model. This backdoor can then be activated during inference by a backdoor trigger to fully control the model's behavior. While such attacks are very effective, they crucially rely on the adversary injecting arbitrary inputs that are---often blatantly---mislabeled. Such samples would raise suspicion upon human inspection, potentially revealing the attack. Thus, for backdoor attacks to remain undetected, it is crucial that they maintain label-consistency---the condition that injected inputs are consistent with their labels. In this work, we leverage adversarial perturbations and generative models to execute efficient, yet label-consistent, backdoor attacks. Our approach is based on injecting inputs that appear plausible, yet are hard to classify, hence causing the model to rely on the (easier-to-learn) backdoor trigger.

연구 동기 및 목표

• 명백하게 잘못 라벨링된 오염을 피하는 라벨-일관성 백도어 공격을 동기 부여하고 형식화한다.
• 정확한 라벨을 유지하면서 자연 특성에 기반해 분류가 어렵게 만드는 포손 입력을 보일 수 있음을 보인다.
• 이런 입력을 생성하기 위한 두 가지 섭동 기반 방법을 개발한다: GAN 잠재 공간 보간 및 적대적 섭동.
• 데이터 증강에 견고하고 덜 눈에 띄는 백도어 트리거를 개선한다.
• 공격 효과성과 탐지 가능성을 정량화하기 위해 CIFAR-10에 대한 실증 평가를 제공한다.

제안 방법

• GAN 또는 자동 인코더의 잠재 공간을 사용해 대상 클래스 입력을 잘못된 클래스로 향해 보간한 뒤 백도어 트리거를 적용하고 라벨은 원래 대상 라벨로 유지한다.
• 포손 입력에 적대적 섭동(PGD)을 적용해 고정된 라벨에 대해 학습 손실을 최대화하되 섭동은 l_p 노름에서 작게 유지한다.
• 공격 성공 및 라벨 일관성 측면에서 잠재 공간 보간과 적대적 섭동을 비교한다.
• 가시성을 줄인 백도어 트리거를 설계하고 데이터 증강에 대한 견고성을 보장한다(예: 네 모서리 재현).
• 다른 중독 분율 및 데이터 증강 설정 하에서 트리거 가시성과 효과를 평가한다.

실험 결과

연구 질문

• RQ1 포손 입력이 라벨-일관성으로 남아 있는 상태에서 백도어 공격이 여전히 효과적일 수 있는가?
• RQ2 잠재 공간 보간과 적대적 섭동이 표준 포손 입력에 비해 더 효과적인 라벨-일관성 백도어를 제공하는가?
• RQ3 트리거 설계와 데이터 증강은 라벨-일관성 백도어의 은닉성 및 견고성에 어떤 영향을 미치는가?
• RQ4 섬세한 섭동 강도 조정 시 공격 성공과 라벨 그럴듯성 간의 트레이드오프는 무엇인가?
• RQ5 클래스당 중독 분율이 라벨-일관성 스킴에서 공격 성공에 어떤 영향을 미치는가?

주요 결과

• 라벨-일관성 포손 입력은 상당한 공격 성공을 달성할 수 있으며, epsilon=300 및 tau=0.2인 l2 섭동을 사용할 때 약 절반의 클래스에서 50%를 넘는 성공률을 보이고 75개의 입력을 삽입한다.
• 적대적 섭동이 GAN 기반 보간보다 효과적이며, 특히 허용되는 섭동이 더 큰 경우에 그렇다.
• 트리거 가시성을 줄이면 아주 작은 중독 분율에서 공격 성공이 감소하지만 targeting 클래스의 6% 이상 중독 시에는 여전히 효과적이다.
• 데이터 증강은 개선된 트리거의 공격 성공을 높일 수 있으며, 시험 시에 완전히 가시적인 트리거를 사용하면 300개 이상 입력을 중독할 때 성공률이 거의 100%에 근접하도록 증가시킬 수 있다.
• 공격은 중독이 극도로 큰 경우를 제외하고는 표준 정확도에 크게 악영향을 주지 않는다(예: 100% 중독).
• 트리거가 없는 포손 샘플은 높은 학습 손실을 나타내며, 이는 올바르게 분류되려면 백도어 트리거에 의존한다는 것을 시사한다.