[논문 리뷰] Rethinking Backdoor Attacks

Alaa Khaddaj, Guillaume Leclerc외 5명|arXiv (Cornell University)|2023. 07. 19.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 배경지식 없는 구조적 가정이 없이 트리거가 자연스러운 데이터 특징과 구분되지 않는다고 주장함으로써 백도어 공격을 재고한다. 이에 따라 데이터 내에서 가장 강력한 특징을 식별하는 기반으로 하는 검출 방법을 제안한다. 이 방법은 이론적 보장에 기반하여 다양한 공격 유형에서 백도어 예측을 효과적으로 검출하고 제거하면서 모델 정확도를 유지한다.

ABSTRACT

In a backdoor attack, an adversary inserts maliciously constructed backdoor examples into a training set to make the resulting model vulnerable to manipulation. Defending against such attacks typically involves viewing these inserted examples as outliers in the training set and using techniques from robust statistics to detect and remove them. In this work, we present a different approach to the backdoor attack problem. Specifically, we show that without structural information about the training data distribution, backdoor attacks are indistinguishable from naturally-occurring features in the data--and thus impossible to "detect" in a general sense. Then, guided by this observation, we revisit existing defenses against backdoor attacks and characterize the (often latent) assumptions they make and on which they depend. Finally, we explore an alternative perspective on backdoor attacks: one that assumes these attacks correspond to the strongest feature in the training data. Under this assumption (which we make formal) we develop a new primitive for detecting backdoor attacks. Our primitive naturally gives rise to a detection algorithm that comes with theoretical guarantees and is effective in practice.

연구 동기 및 목표

• 백도어 예측이 분포 가정이 없이도 자연스러운 특징과 구분되지 않는다는 기존의 시각을 도전함.
• 백도어 검출을 특징 검출로 재정의함. 특히 훈련 데이터 내에서 가장 영향력 있는 특징을 식별함.
• 백도어 예측을 신뢰성 있게 식별하고 제거할 수 있는 이론적 기반을 지닌 검출 원천을 개발함.
• 다양한 백도어 공격 설정에서 실증적으로 방법의 성능을 검증함과 동시에 높은 모델 정확도를 유지함.
• 기존 방어 방법이 암묵적으로 기반으로 하는 가정을 규명하고, 그 필요성을 입증함.

제안 방법

• 이 방법은 백도어 트리거를 데이터 분포 내에서 가장 강력한 특징으로 간주하며, 이는 외부자극이 아니라고 보는 것.
• 모델 기울기의 데이터 하위집합을 기반으로 유도된 데이터모델 행렬을 사용해 특징 강도를 측정하는 원천을 도입함.
• 가장 영향력 있는 특징을 식별하기 위해 데이터모델 행렬에 국소 탐색 알고리즘을 적용함. 이 특징은 백도어 예측과 상관관계가 있음.
• 각 훈련 예측에 대해 가장 강력한 특징에 기여하는 정도에 따라 점수를 계산함. 높은 점수는 잠재적 백도어 예측을 시사함.
• 가장 높은 점수를 가진 예측을 훈련 세트에서 제거함으로써 방어 메커니즘을 구현함.
• 백도어 트리거가 가장 강력한 특징이라는 가정 하에, 이 방법이 백도어 예측을 검출할 수 있는 이론적 보장을 제공함.

실험 결과

연구 질문

• RQ1 데이터 분포에 대한 사전 지식이 없이도 백도어 트리거를 자연스러운 데이터 특징과 구분할 수 있는가?
• RQ2 백도어 공격 검출이 훈련 데이터 내에서 가장 강력한 특징을 검출하는 것과 동일한가?
• RQ3 기존 방어 방법이 암묵적으로 의존하는 가정은 무엇이며, 이를 명시적으로 드러낼 수 있는가?
• RQ4 특징 강도 기반의 검출 방법이 이론적 보장과 실용적 효과를 동시에 달성할 수 있는가?
• RQ5 다양한 백도어 공격에 대해 제안된 방법이 기존 방어 방법에 비해 정확도와 내성 면에서 어떻게 비교되는가?

주요 결과

• 논문은 데이터 분포에 대한 구조적 가정이 없을 경우 백도어 트리거가 자연스러운 특징과 구분되지 않는다는 것을 입증함.
• 제안된 검출 방법은 평가된 모든 백도어 공격 설정에서 AUROC 점수가 91 이상을 기록함으로써, 특징 강도 점수와 백도어 예측 사이에 강한 상관관계가 있음을 시사함.
• 모든 테스트 설정에서 특징 강도 점수 상위 10%의 예측을 제거함으로써 청소된 데이터에 대한 정확도는 유지되며, 백도어 예측에 대한 정확도는 크게 감소함.
• ISPL, SS, SPECTRE, AC 등의 베이스라인과 비교해 검출 및 방어 성능에서 우월하거나 동등한 성능을 기록함.
• 이론적 분석을 통해 백도어 트리거가 가장 강력한 특징이라는 가정 하에, 이 방법이 백도어 예측을 신뢰성 있게 식별하고 제거할 수 있음이 확인됨.
• 실증 결과는 공격 예산이 높을 경우(예: 30% 오염)에도 불구하고 이 방법이 효과적으로 작동하며, 다양한 데이터셋과 공격 유형에 대해 내성적임을 보임.