[논문 리뷰] Poison as a Cure: Detecting & Neutralizing Variable-Sized Backdoor Attacks in Deep Neural Networks

Alvin Chan, Yew-Soon Ong|arXiv (Cornell University)|2019. 11. 19.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 16

한 줄 요약

이 논문은 청소된 검증 세트, 오염 타겟/기본 클래스, 오염 비율에 대한 사전 지식이 없이도 작동하는 딥 네ural 네트워크에서 크기가 변하는 백도어 공격에 대비한 새로운 방어 기법을 제안한다. 오염 신호를 입력 그래디언트에서 추출하고, 이들을 바탕으로 이론적 보장을 갖춘 측정을 통해 오염된 샘플을 탐지하고 걸러내며, 증강된 데이터와 재라벨링을 통한 재학습을 통해 백도어를 중화시킨다. CIFAR-10에서 다양한 공격 시나리오에 걸쳐 높은 정확도 복원을 달성한다.

ABSTRACT

Deep learning models have recently shown to be vulnerable to backdoor poisoning, an insidious attack where the victim model predicts clean images correctly but classifies the same images as the target class when a trigger poison pattern is added. This poison pattern can be embedded in the training dataset by the adversary. Existing defenses are effective under certain conditions such as a small size of the poison pattern, knowledge about the ratio of poisoned training samples or when a validated clean dataset is available. Since a defender may not have such prior knowledge or resources, we propose a defense against backdoor poisoning that is effective even when those prerequisites are not met. It is made up of several parts: one to extract a backdoor poison signal, detect poison target and base classes, and filter out poisoned from clean samples with proven guarantees. The final part of our defense involves retraining the poisoned model on a dataset augmented with the extracted poison signal and corrective relabeling of poisoned samples to neutralize the backdoor. Our approach has shown to be effective in defending against backdoor attacks that use both small and large-sized poison patterns on nine different target-base class pairs from the CIFAR10 dataset.

연구 동기 및 목표

• 오염 타겟/기본 클래스, 오염 비율, 청결한 검증 세트 등의 핵심 사전 지식이 제공되지 않은 상황에서 백도어 오염 공격에 대비하는 방어 과제를 해결한다.
• 작은 크기와 큰 크기의 오염 패턴 모두에 효과적인 방어 프레임워크를 개발한다.
• 추출한 오염 신호와의 입력 그래디언트 유사도를 바탕으로 이론적 보장을 갖춘 신뢰성 있는 오염 샘플 탐지 및 걸러내기.
• 합성 오염 데이터 증강과 오염된 샘플의 수정 라벨링을 통한 재학습을 통해 백도어를 중화한다.
• CIFAR-10에서 다양한 타겟-기본 클래스 조합, 다양한 오염 크기 및 비율 조건에서 방어 성능을 종합적으로 평가한다.

제안 방법

• 모델의 첫 번째 레이어에서 손실 함수에 대한 입력 그래디언트(즉, 입력에 대한 손실의 그래디언트)로부터 오염 신호를 추출한다. 이는 오염된 샘플이 특별한 그래디언트 패턴을 유도한다는 가정에 기반한다.
• 추출한 오염 신호를 사용하여 테스트 샘플의 입력 그래디언트와의 유사도 점수를 계산함으로써, 오염된 샘플과 청결한 샘플을 이론적 보장과 함께 분리할 수 있도록 한다.
• 오염 신호와 유사도가 높은 샘플의 라벨 분포를 분석하여 오염 타겟 및 기본 클래스를 탐지한다.
• 추출한 오염 신호를 사용해 훈련 데이터 세트를 증강하고, 오염 신호와 유사도가 높은 모든 샘플을 기본 클래스로 재라벨링하여 백도어를 중화시킨다.
• 필터링 및 재라벨링된 데이터 세트로 모델을 재학습시켜 복원력을 회복하고 청결한 정확도를 회복한다.
• CIFAR-10에서 9개의 타겟-기본 클래스 조합에 대해 대규모(오버레이) 및 소규모(점) 오염 패턴 모두에 방어 기법을 적용한다.

실험 결과

연구 질문

• RQ1 오염 타겟 클래스, 기본 클래스, 오염 비율에 대한 사전 지식이 전혀 없는 상황에서도 백도어 방어가 효과적으로 작동할 수 있는가?
• RQ2 입력 그래디언트를 신뢰성 있게 사용하여 오염 신호를 추출하고, 이로 인해 이론적 보장을 갖춘 오염 샘플 탐지 및 걸러내기가 가능한가?
• RQ3 제안된 방어 기법이 대규모 및 소규모 백도어 공격에 대해 탐지 정확도 및 모델 복원 능력 측면에서 얼마나 효과적인가?
• RQ4 오염 증강 데이터와 재라벨링을 통한 재학습이 백도어를 성공적으로 중화시키고 청결한 정확도를 회복하는 데 기여하는가?
• RQ5 다양한 타겟-기본 클래스 조합과 다양한 오염 비율 조건에서도 방어 기법이 높은 성능을 유지하는가?

주요 결과

• 대규모 오버레이 공격의 경우 오염 샘플 탐지에서 특이도 99.7%와 민감도 96.0%를 달성했고, 점 크기 공격의 경우 특이도 99.6%와 민감도 99.0%를 기록했다.
• 중화 후, 5% 오염 비율의 전체 크기 오버레이 공격에서 평균적으로 청결한 정확도가 94.5%로 복원되었고(기존 95.1%), 오염된 기본 클래스 정확도는 80%로 복원되었고(기존 11.9%), 평균적으로 복원되었다.
• 5% 오염 비율의 점 크기 공격에서 중화 후 청결한 정확도는 94.9%에 달했고, 오염된 기본 클래스 정확도는 90%에 이르렀으며, 각각 기준치 95.3%와 0.8%에서 복원되었다.
• CIFAR-10에서 테스트한 9개의 타겟-기본 클래스 조합 전부에서 백도어가 성공적으로 중화되었고, 다양한 공격 구성 조건에 대한 강건성을 입증했다.
• 10% 오염 비율 조건에서도 높은 성능를 유지했으며, VGG 모델에서 전체 크기 오버레이 공격의 경우 중화 후 청결한 정확도 92.6%와 오염 정확도 94.8%를 달성했다.
• 그래디언트 유사도 기반으로 필터링 단계에 대해 이론적 보장을 확립하여 오염된 샘플과 청결한 샘플의 신뢰성 있는 분리가 보장되었다.