[논문 리뷰] Deep Partition Aggregation: Provable Defenses against General Poisoning Attacks

Alexander Levine, Soheil Feizi|arXiv (Cornell University)|2021. 05. 03.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 22

한 줄 요약

이 논문은 일반적이고 레이블 뒤집기 유형의 훈련 데이터 오염 공격에 대해 각각 새로운 보증 방어 기법인 딥 파artition 아그리게이션(DPA)과 준감독 DPA(SS-DPA)을 제안한다. DPA는 해시 기반 데이터 분할과 앙상블 학습을 활용하여 증명 가능한 강건성을 제공하며, 상태 기준 최고 수준의 보증 성능을 달성한다: MNIST에선 500개 이상의 오염 이미지 삽입, CIFAR-10에선 9개의 삽입을 보증하며, SS-DPA는 MNIST에선 600개 이상, CIFAR-10에선 300개 이상의 레이블 뒤집기를 견딜 수 있다.

ABSTRACT

Adversarial poisoning attacks distort training data in order to corrupt the test-time behavior of a classifier. A provable defense provides a certificate for each test sample, which is a lower bound on the magnitude of any adversarial distortion of the training set that can corrupt the test sample's classification. We propose two novel provable defenses against poisoning attacks: (i) Deep Partition Aggregation (DPA), a certified defense against a general poisoning threat model, defined as the insertion or deletion of a bounded number of samples to the training set --- by implication, this threat model also includes arbitrary distortions to a bounded number of images and/or labels; and (ii) Semi-Supervised DPA (SS-DPA), a certified defense against label-flipping poisoning attacks. DPA is an ensemble method where base models are trained on partitions of the training set determined by a hash function. DPA is related to both subset aggregation, a well-studied ensemble method in classical machine learning, as well as to randomized smoothing, a popular provable defense against evasion (inference) attacks. Our defense against label-flipping poison attacks, SS-DPA, uses a semi-supervised learning algorithm as its base classifier model: each base classifier is trained using the entire unlabeled training set in addition to the labels for a partition. SS-DPA significantly outperforms the existing certified defense for label-flipping attacks (Rosenfeld et al., 2020) on both MNIST and CIFAR-10: provably tolerating, for at least half of test images, over 600 label flips (vs. < 200 label flips) on MNIST and over 300 label flips (vs. 175 label flips) on CIFAR-10. Against general poisoning attacks where no prior certified defenses exists, DPA can certify ≥ 50% of test images against over 500 poison image insertions on MNIST, and nine insertions on CIFAR-10. These results establish new state-of-the-art provable defenses against general and label-flipping poison attacks.

연구 동기 및 목표

• 샘플 삽입, 삭제, 레이블/이미지 왜곡을 포함한 일반적 오염 공격에 대해 증명 가능한 방어 기법을 개발한다.
• 레이블 뒤집기 오염 공격에 특화된 보증 방어 기법을 설계하여 기존 기법보다 강건성을 높인다.
• 일반적 및 레이블 뒤집기 오염 위협에 대해 새로운 최고 수준의 보증 강건성을 확립한다.
• 앙상블 학습과 준감독 학습을 활용해 보증 보장을 강화하면서도 높은 정확도를 유지한다.
• 각 테스트 샘플에 대해 이론적 보증을 제공하여 예측을 손상시키기 위해 필요한 최소한의 오염 강도를 정량화한다.

제안 방법

• DPA는 무작위 해시 함수를 사용해 훈련 데이터를 분할하고, 서로 겹치지 않는 부분집합에 대해 기저 모델을 학습하여 앙상블을 구성한다.
• 최종 예측은 기저 모델들 간의 다수결 투표로 결정되며, 예측을 바꾸기 위해 필요한 최소 샘플 수에 대한 하한을 통해 강건성을 보증한다.
• SS-DPA는 준감독 학습을 도입해 DPA를 확장한다: 각 기저 모델은 전체 비라벨 데이터와 자신의 분할에 속한 레이블을 사용해 학습되며, 이로 인해 레이블 뒤집기 공격에 대한 강건성이 향상된다.
• 보증은 앙상블 예측을 변화시키기 위해 필요한 레이블 또는 데이터 왜곡의 수를 제한하는 조합론적 추론에 기반한다.
• 이 방법은 부분집합 집합화와 랜덤 스무딩의 특성을 모두 유산으로 이어받아 오염 공격 방어에 강점을 결합한다.
• 분할 구조와 투표 메커니즘의 특성을 활용해 강건성 보증을 효율적으로 계산함으로써 실용적 구현이 가능하다.

실험 결과

연구 질문

• RQ1 삽입, 삭제, 또는 제한된 수의 훈련 샘플 왜곡을 포함한 일반적 오염 공격을 증명 가능하게 저지할 수 있는 보증 방어 기법을 구축할 수 있는가?
• RQ2 기존의 보증 방어 기법에 비해 준감독 변형이 레이블 뒤집기 공격에 대해 강건성을 크게 향상시킬 수 있는가?
• RQ3 이 프레임워크를 사용해 주어진 테스트 샘플에 대해 인식 가능한 오염 변형(삽입 또는 레이블 뒤집기)의 최대 수는 얼마인가?
• RQ4 기존의 보증 방어 기법과 비교해, 표준 벤치마크인 MNIST와 CIFAR-10에서 제안된 방어 기법의 성능은 어떠한가?
• RQ5 DPA의 앙상블 구조를 활용해 동일한 위협 모델 하에서 기존 방법보다 더 강력한 이론적 보장을 확보할 수 있는가?

주요 결과

• DPA는 MNIST에서 최소 50%의 테스트 이미지에 대해 500개 이상의 오염 이미지 삽입을 보증하며, 새로운 최고 수준의 성능을 달성한다.
• CIFAR-10에서 DPA는 최소 50%의 테스트 이미지에 대해 9개의 오염 삽입을 보증하며, 일반적 오염 공격에 대한 강력한 저항력을 보여준다.
• SS-DPA는 기존의 보증 방어 기법보다 레이블 뒤집기 공격에 대해 뛰어난 성능을 보이며, MNIST에선 600개 이상의 레이블 뒤집기를 견딜 수 있다 (기존 기법 대비 <200).
• CIFAR-10에선 SS-DPA가 300개 이상의 레이블 뒤집기를 보증하며 (기존 기법 대비 175개), 새로운 기준을 설정한다.
• 제안된 방어 기법은 일반적 및 레이블 뒤집기 오염 공격 위협 모델 모두에서 기존 방법보다 훨씬 높은 보증 강건성을 확보한다.
• 분할, 앙상블 투표, 준감독 학습의 조합은 이론적 보장의 강도와 표준 데이터셋에서의 실용적 성능을 동시에 확보한다.