[논문 리뷰] Few-shot Backdoor Defense Using Shapley Estimation

Jiyang Guan, Zhuozhuo Tu외 2명|arXiv (Cornell University)|2021. 12. 30.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 셰플리 값 추정을 활용해 백도어 행동을 유발하는 가장 영향력 있는 뉴런을 식별하고 제거하는 소수의 샘플을 기반으로 한 백도어 방어 방법인 셰플리 프루닝(ShapPruning)을 제안한다. 모델 활성화 패턴과 새로운 가속 전략을 활용하여, 청소된 데이터가 극히 적은 경우(클래스당 최소 1장의 이미지)에도 강력한 방어를 달성하며, 뉴런의 1% 미만을 제거함으로써 모델 정확도는 1% 이내로 유지하면서 공격 성공률를 0.5% 이하로 낮춘다.

ABSTRACT

Deep neural networks have achieved impressive performance in a variety of tasks over the last decade, such as autonomous driving, face recognition, and medical diagnosis. However, prior works show that deep neural networks are easily manipulated into specific, attacker-decided behaviors in the inference stage by backdoor attacks which inject malicious small hidden triggers into model training, raising serious security threats. To determine the triggered neurons and protect against backdoor attacks, we exploit Shapley value and develop a new approach called Shapley Pruning (ShapPruning) that successfully mitigates backdoor attacks from models in a data-insufficient situation (1 image per class or even free of data). Considering the interaction between neurons, ShapPruning identifies the few infected neurons (under 1% of all neurons) and manages to protect the model's structure and accuracy after pruning as many infected neurons as possible. To accelerate ShapPruning, we further propose discarding threshold and $ε$-greedy strategy to accelerate Shapley estimation, making it possible to repair poisoned models with only several minutes. Experiments demonstrate the effectiveness and robustness of our method against various attacks and tasks compared to existing methods.

연구 동기 및 목표

• 청소된 샘플이 극히 적거나 전혀 없는 상황에서 백도어 공격을 방어하는 데 도전하는 것.
• 히우리스틱 또는 전반적인 프루닝에 의존하는 대신, 백도어 행동을 유발하는 뉴런의 최소 집합을 정확히 식별하고 분리하는 것.
• 완화 후에도 높은 모델 정확도와 구조적 무결성을 유지하여 성능 저하를 야기하는 과도한 프루닝을 피하는 것.
• 셰플리 값 추정을 가속화하여 실세계 적용 가능성을 확보하고, 방어를 수분 내로 수행할 수 있도록 하는 것.
• 특히 배치 정규화 레이어를 활용해 모델 통계에서 트리거와 청소된 데이터를 재구성함으로써 데이터 없음 조건에서도 백도어 완화를 가능하게 하는 것.

제안 방법

• 협동 게임 이론에서 유래한 셰플리 값을 활용해 전체 백도어 행동을 개별 뉴런에 할당하여 악성 예측을 유발하는 데 가장 기여하는 뉴런을 식별하는 것.
• 모델 활성화에서 오염된 입력을 재구성할 수 있는 트리거 역전환 방법을 도입하여, 청소된 데이터가 없더라도 정확한 셰플리 값 추정이 가능하도록 하는 것.
• 고성능 뉴런에 집중하고 탐색과 이용의 균형을 맞추기 위해 기각 임계값과 ε-그리디 전략을 도입하여 셰플리 값 추정을 가속화하는 것.
• 데이터 없음 및 소수의 샘플 설정을 모두 통합한 믹스드 모드 ShapPruning 프레임워크를 구현하여 배치 정규화 통계를 활용해 데이터 재구성 품질을 향상시키는 것.
• 셰플리 값에 기반한 뉴런 프루닝을 적용하여 오직 가장 오염된 뉴런들만 제거함으로써 모델의 구조와 정확도를 유지하는 것.
• 초기 정지와 신뢰 구간을 활용한 몬테카를로 추정을 통해 계산 시간을 단축하면서도 추정 정확도를 유지하는 것.

실험 결과

연구 질문

• RQ1 최소한의 청소된 데이터로 깊은 신경망에서 백도어를 유발하는 뉴런을 탐지하고 격리하는 데 셰플리 값 추정이 효과적으로 적용될 수 있는가?
• RQ2 셰플리 값 추정을 어떻게 가속화할 수 있을까? 이를 통해 실세계 모델에 대한 백도어 완화가 실현 가능해지는가?
• RQ3 배치 정규화 레이커 같은 내부 모델 통계를 활용하면 데이터 없이도 백도어 완화를 달성할 수 있는가?
• RQ4 기존의 방어 방법들과 비교했을 때 ShapPruning는 백도어 행동을 제거하면서 얼마나 잘 모델 정확도를 유지하는가?
• RQ5 ShapPruning는 다양한 공격 유형(BadNets, Trojan, Physical Key)과 모델 아키텍처(VGG, ResNet)에 대해 얼마나 강건한가?

주요 결과

• ShapPruning는 클래스당 하나의 이미지만으로도 백도어 공격을 성공적으로 완화하며, GTSRB 데이터셋에서 정확도 하락률이 0.1%에 그친다.
• 프루닝 후 공격 성공률가 0.4%로 떨어져, 극히 낮은 성능 손실로도 강력한 방어 효과를 입증한다.
• 평균적으로 전체 뉴런의 1% 미만을 제거하여, 이전 방법들(예: 파인 프루닝 70% 프루닝)에 비해 제거되는 뉴런의 수를 크게 줄였다.
• 제안된 가속 전략(기각 임계값 및 ε-그리디)은 진정한 상위 50개 뉴런 중 46개를 상위 70개 내에서 정확히 식별하여, T-MAB보다 뛰어난 성능(27/50 매칭)을 보였다.
• 데이터 없음 조건에서 ShapPruning는 배치 정규화 통계를 활용한 트리거 재구성 향상 덕분에 DeepInspect 및 기타 기준보다 더 나은 백도어 완화 성능을 달성했다.
• 여러 데이터셋(CIFAR10, CIFAR100), 아키텍처(VGG16, ResNet34), 공격 유형(BadNets, Trojan, Physical Key)에 걸쳐 일관되게 공격 성공률를 근본적으로 낮추며, 거의 0 수준으로 감소시켰다.