[논문 리뷰] Poison Forensics: Traceback of Data Poisoning Attacks in Neural Networks

Shawn Shan, Arjun Nitin Bhagoji외 2명|arXiv (Cornell University)|2021. 10. 13.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 모델 파라미터 영향을 기반으로 반복 클러스터링과 프루닝을 사용하여 신경망 내에서 오염된 학습 데이터를 식별하는 새로운 포렌식 트레이서스인 Poison Forensics를 소개한다. 다양한 오염된 레이블 및 정상 레이블 공격에 대해 98.4% 이상의 정밀도와 96.8% 이상의 재현율을 달성하며, 반대 포렌식 기법에 대해서도 강건성을 유지한다.

ABSTRACT

In adversarial machine learning, new defenses against attacks on deep learning systems are routinely broken soon after their release by more powerful attacks. In this context, forensic tools can offer a valuable complement to existing defenses, by tracing back a successful attack to its root cause, and offering a path forward for mitigation to prevent similar attacks in the future. In this paper, we describe our efforts in developing a forensic traceback tool for poison attacks on deep neural networks. We propose a novel iterative clustering and pruning solution that trims "innocent" training samples, until all that remains is the set of poisoned data responsible for the attack. Our method clusters training samples based on their impact on model parameters, then uses an efficient data unlearning method to prune innocent clusters. We empirically demonstrate the efficacy of our system on three types of dirty-label (backdoor) poison attacks and three types of clean-label poison attacks, across domains of computer vision and malware classification. Our system achieves over 98.4% precision and 96.8% recall across all attacks. We also show that our system is robust against four anti-forensics measures specifically designed to attack it.

연구 동기 및 목표

• 딥 러닝 모델에 대한 데이터 오염 공격의 사후 분석에서 발생하는 핵심적 격차를 해결하기 위해, 악성 학습 샘플을 식별할 수 있는 포렌식 트레이서스를 제공하는 것.
• 배포된 모델에서 타겟된 잘못된 분류 행동을 유도하는 오염된 데이터를 고립시킬 수 있는 고정밀도, 고재현율 시스템을 개발하는 것.
• 탐지에서 회피하기 위해 고안된 반대 포렌식 기법에 대응할 수 있는 강건성을 확보하여, 적대적 환경에서의 실질적 구현을 지원하는 것.
• 기존 방어 조치를 보완할 수 있는 실용적인 포렌식 도구를 제공하여 데이터 기원 추적을 통한 책임 소재 규명과 대응을 가능하게 하는 것.

제안 방법

• 모델 파라미터에 미치는 영향을 기반으로 학습 샘플을 클러스터링하여, 유사한 영향을 미치는 가중치에 영향을 주는 샘플들을 그룹화한다.
• 학습 샘플의 기여도에 기반해 유해하지 않은 것으로 판단된 클러스터를 반복적으로 프루닝하기 위해 효율적인 데이터 언러닝 기법을 적용한다.
• 알고리즘은 반복적으로 진행되며, 공격으로 인해 유도된 잘못된 분류 행동에 영향을 주지 않는 클러스터를 제거한다.
• 과정은 관찰된 공격 행동을 유도하는 데 필수적이고도 충분한 최소한의 학습 샘플 집합으로 수렴한다.
• 오염 효과는 개별 샘플이 아닌 그룹 수준의 현상이라는 점을 활용하여, 오염 데이터를 효과적으로 클러스터링할 수 있다.
• 언러닝을 통한 클러스터 제거의 영향을 평가하고, 모델 행동의 변화를 통해 영향력이 가장 큰, 가능성이 높은 오염된 샘플들만을 식별하고 유지한다.

실험 결과

연구 질문

• RQ1 딥 신경망에서 타겟된 잘못된 분류를 유도하는 오염된 학습 데이터의 부분집합을 정확하게 식별할 수 있는 포렌식 시스템이 가능한가?
• RQ2 제안된 반복 클러스터링 및 프루닝 접근법이 다양한 공격 유형과 모델 아키텍처에서 오염된 데이터를 얼마나 효과적으로 고립하는가?
• RQ3 오염 탐지를 회피하기 위해 고안된 반대 포렌식 기법에 대해 시스템의 강건성은 어느 정도인가?
• RQ4 시스템은 오염 공격과 다른 잘못된 분류 원인(예: 회피 공격 또는 일반적인 오류)을 구분할 수 있는가?
• RQ5 실제 환경에서의 변동하는 삽입 비율과 데이터 분포 이동 상황에서 시스템의 성능은 어떠한가?

주요 결과

• Poison Forensics 시스템은 오염된 레이블 및 정상 레이블 변형 공격을 포함한 모든 평가 공격에서 98.4% 이상의 정밀도와 96.8% 이상의 재현율을 달성한다.
• 다섯 가지의 반대 포렌식 기법에 대해 시스템은 >95%의 정밀도와 >92%의 재현율을 유지하여 탐지 회피 시도에 대한 강력한 저항성을 입증한다.
• 삽입 비율 증가에 대해 강건한 성능을 보이며, 오염을 그룹 효과로 간주함으로써 수량과 관계없이 동일한 공격 목표를 가진 데이터를 클러스터링하기 때문이다.
• 언러닝을 통해 클러스터를 제거했을 때 모델 행동이 변화하는지 관찰함으로써, 오염되지 않은 원인(예: 회피 공격, 일반적인 오류)도 정확히 식별하여 임의의 오진 탐지(false positive)를 방지한다.
• 컴퓨터 비전 및 악성코드 분류 작업에서 복잡한 공격 상황을 포함한 모든 테스트 시나리오에서 잘못된 분류의 근본 원인을 성공적으로 규명한다.
• 포렌식 도구는 공격 초기 식별에도 재사용 가능하며, 오염 공격를 회피 공격 또는 일반적인 오류와 정확히 구분할 수 있으며, 테스트 시나리오에서 오직 하나의 오진 탐지도 발생하지 않는다.