[논문 리뷰] Don't Trigger Me! A Triggerless Backdoor Attack Against Deep Neural Networks

Ahmed Salem, Michael Backes외 1명|arXiv (Cornell University)|2020. 10. 07.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 18

한 줄 요약

이 논문은 딥 네ural 네트워크에 대한 처음으로 트리거 없는 백도어 공격를 소개한다. 악성 공격자는 추론 중 드롭아웃을 활용하여 입력을 수정하지 않고도 백도어를 활성화한다. 입력 트리거 없이도 100% 성공률을 달성하면서 MNIST와 CIFAR-10에서 유용성 손실이 0.2% 미만이 되며, 트리거 기반 방어 기법을 우회한다.

ABSTRACT

Backdoor attack against deep neural networks is currently being profoundly investigated due to its severe security consequences. Current state-of-the-art backdoor attacks require the adversary to modify the input, usually by adding a trigger to it, for the target model to activate the backdoor. This added trigger not only increases the difficulty of launching the backdoor attack in the physical world, but also can be easily detected by multiple defense mechanisms. In this paper, we present the first triggerless backdoor attack against deep neural networks, where the adversary does not need to modify the input for triggering the backdoor. Our attack is based on the dropout technique. Concretely, we associate a set of target neurons that are dropped out during model training with the target label. In the prediction phase, the model will output the target label when the target neurons are dropped again, i.e., the backdoor attack is launched. This triggerless feature of our attack makes it practical in the physical world. Extensive experiments show that our triggerless backdoor attack achieves a perfect attack success rate with a negligible damage to the model's utility.

연구 동기 및 목표

• 트리거 기반 백도어 공격의 한계를 해결하기 위해, 이는 감지 가능하고 실세계 구현에 현실적이지 않다.
• 입력 수정이 필요 없는 백도어 메커니즘을 개발하여 실제 환경에서 더욱 은밀한 공격을 가능하게 한다.
• 트리거 감지를 기반으로 하는 기존 방어 기법을 우회하기 위해 트리거를 완전히 제거한다.
• 모델 수준의 백도어 공격를 뉴런 드롭아웃을 통해 실현할 수 있으며, 높은 공격 성공률과 최소한의 성능 저하를 동시에 달성할 수 있음을 보여준다.

제안 방법

• 공격는 훈련 중에 선택된 특정 타겟 뉴런 집합을 특정 타겟 레이블과 연관지운다.
• 추론 중에 이 타겟 뉴런들이 드롭아웃될 경우 백도어가 활성화되며, 은밀함을 확보하기 위해 낮은 드롭아웃 비율(예: 0.1%)을 사용한다.
• 공격는 확률적이다: 예측 중 무작위 뉴런 드롭아웃에 의해 결정되며, 입력 패턴의 결정론적 특성에 의존하지 않는다.
• 공격자는 드롭아웃 비율을 조절하여 백도어 활성화 빈도를 제어할 수 있어, 조절 가능한 백도어 활성화 확률을 제공한다.
• 이 방법은 훈련 중에 순전파를 수정하여 타겟 레이블이 타겟 뉴런의 활성화에 조건부로 설정되도록 구현된다.
• 입력 데이터를 수정하지 않기 때문에, 입력 트리거 분석이나 시각적 검사로도 탐지되지 않는다.

실험 결과

연구 질문

• RQ1 입력 수준의 트리거에 의존하지 않는 백도어 공격를 구축할 수 있는가? 이를 통해 기존 방어 기법의 감지에서 벗어날 수 있는가?
• RQ2 입력 패턴이 아닌 내부 모델 동작(뉴런 드롭아웃)에 기반한 백도어 메커니즘은 얼마나 효과적인가?
• RQ3 공격는 모델의 유용성에 얼마나 큰 영향을 미치며, 깨끗한 입력에 대한 높은 정확도를 유지할 수 있는가?
• RQ4 드롭아웃 비율과 같은 하이퍼파라미터를 통해 공격의 활성화 빈도를 조절할 수 있는가?
• RQ5 타겟 레이어와 타겟 뉴런 수의 선택은 공격 성공률와 일관성에 어떤 영향을 미치는가?

주요 결과

• 트리거 없는 백도어 공격는 MNIST와 CIFAR-10에서 100%의 공격 성공률를 달성하면서 모델 유용성 손실이 오직 0.2%에 불과하다.
• 타겟 뉴런 수가 많을수록 레이블 일관성이 크게 향상된다—50개의 뉴런을 사용할 경우 약 70%까지 상승하는 반면, 단일 뉴런일 경우 약 35% 수준이다.
• 낮은 드롭아웃 비율(예: 0.1%)은 유용성 손실을 줄이고 레이블 일관성을 향상시키지만, 공격를 유도하기 위해 더 많은 쿼리가 필요하다.
• 두 번째로 마지막 레이어를 타겟 레이어로 선택할 경우, 이전 레이어보다 더 높은 레이블 일관성과 공격 성공률를 확보한다.
• 후행 확률 유사도는 다양한 설정에서도 안정적으로 유지되며, 고도의 드롭아웃 비율 조건에서도 0.01% 이내로 감소한다.
• 입력 트리거가 존재하지 않기 때문에 트리거 기반 방어 기법에 의해 탐지되지 않으며, 실세계 구현에서 매우 은밀하다.