[논문 리뷰] Improved Certified Defenses against Data Poisoning with (Deterministic) Finite Aggregation

Wenxiao Wang, Alexander Levine외 1명|arXiv (Cornell University)|2022. 02. 05.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 유한 집합화(Finite Aggregation)를 제안하며, 겹치는 기본 분류기 간에 훈련 샘플을 전략적으로 재사용함으로써 데이터 오염 공격에 대한 인증 가능한 방어를 향상시킨다. 데이터를 더 작은 상호배타적 부분집합으로 나누고, 그 후 중복되지 않는 더 큰 부분집합으로 복제를 확산시켜, 오염된 샘플의 최악의 영향을 줄인다. 이로써 기존 최고 성능(SOTA)의 인증 가능 견고성을 달성하며, GTSRB에서 최대 4.77% 향상된 인증 분율을 달성하면서도 DPA의 정확도를 유지한다.

ABSTRACT

Data poisoning attacks aim at manipulating model behaviors through distorting training data. Previously, an aggregation-based certified defense, Deep Partition Aggregation (DPA), was proposed to mitigate this threat. DPA predicts through an aggregation of base classifiers trained on disjoint subsets of data, thus restricting its sensitivity to dataset distortions. In this work, we propose an improved certified defense against general poisoning attacks, namely Finite Aggregation. In contrast to DPA, which directly splits the training set into disjoint subsets, our method first splits the training set into smaller disjoint subsets and then combines duplicates of them to build larger (but not disjoint) subsets for training base classifiers. This reduces the worst-case impacts of poison samples and thus improves certified robustness bounds. In addition, we offer an alternative view of our method, bridging the designs of deterministic and stochastic aggregation-based certified defenses. Empirically, our proposed Finite Aggregation consistently improves certificates on MNIST, CIFAR-10, and GTSRB, boosting certified fractions by up to 3.05%, 3.87% and 4.77%, respectively, while keeping the same clean accuracies as DPA's, effectively establishing a new state of the art in (pointwise) certified robustness against data poisoning.

연구 동기 및 목표

• 왜곡된 훈련 데이터로 모델 행동을 조작하는 데이터 오염 공격의 증가하는 위협을 다루기.
• 이전의 결정론적 인증 방어인 딥 파artition 집합화(DPA)를 향상시켜 정확도를 희생시키지 않고도 견고성을 높이기.
• 기본 분류기 간에 훈련 샘플을 전략적으로 재사용함으로써 일반적인 오염 공격에 대해 더 강력한 증명 가능한 견고성을 제공하는 방법 개발하기.
• 결정론적 및 확률론적 집합화 기반 방어 간의 설계 격차를 메우기 위해 인증 가능 견고성에 대한 통합적 시각 제공하기.
• 다양한 벤치마크 데이터셋에서 데이터 오염 방어에 있어 점별 인증 가능 견고성의 새로운 최고 성능 수립하기.

제안 방법

• 하나의 해싱 함수 h_split을 사용해 훈련 세트를 kd개의 상호배타적 파artition으로 나누며, k와 d는 하이퍼파라미터이다.
• 두 번째 해싱 함수 h_spread를 사용해 각 파artition을 d개의 다른 부분집합으로 확산시켜, 총 kd개의 겹치는 훈련 부분집합을 생성한다.
• 각 부분집합에 대해 하나의 기본 분류기를 훈련시어, 총 kd개의 분류기를 만들어내며, 이들은 구조적으로 겹치는 방식으로 훈련 샘플을 공유한다.
• 추론 시, 모든 kd개의 분류기에서의 다수결 투표를 통해 예측을 수행함으로써, 오염된 샘플의 영향을 제한하는 앙상블 견고성 활용하기.
• 이론적 분석 결과, 어떤 오염된 샘플에 대한 정규화된 마진 민감도는 O(1/k)로 스케일링되며, 이는 최악의 영향을 감소시킴을 보여준다.
• d를 증가시켜 투표에서의 동점 상황를 줄임으로써, 견고성을 향상시키고 공격 하에서 높은 인증 분율을 유지하는 데 기여한다.

실험 결과

연구 질문

• RQ1 집합 기반 방어에서 부분집합이 겹치는 방식으로 구성될 경우, 상호배타적 부분집합보다 데이터 오염 공격에 대한 인증 가능 견고성이 향상되는가?
• RQ2 여러 기본 분류기 간에 훈련 샘플을 전략적으로 재사용할 경우, 오염된 샘플의 최악의 영향은 어떻게 변화하는가?
• RQ3 결정론적 집합 방법인 유한 집합화가 확률론적 대안들보다 견고성 면에서 동등하거나 슈퍼어리어어하는가?
• RQ4 하이퍼파라미터 k와 d를 변화시킬 경우, 계산 비용, 견고성, 정확도 간의 상호 상충 관계는 어떠한가?
• RQ5 집합 기반 방어에서 점별 인증 가능 견고성(인증 분율)과 분포 기반 견고성(인증 정확도) 간의 경험적 비교는 어떻게 이루어지는가?

주요 결과

• DPA 대비 MNIST에서 최대 3.05%, CIFAR-10에서 최대 3.87%, GTSRB에서 최대 4.77% 향상된 인증 분율을 확보하며, 점별 인증 가능 견고성에서 새로운 최고 성능 달성.
• 모든 데이터셋에서 DPA와 동일한 정확도를 유지함으로써, 견고성 향상이 깨끗한 데이터에서의 성능 희생 없이 이루어졌음을 확인.
• d를 증가시키면 기저 분류기 정확도는 그대로 유지되며, 평균 부분집합 크기가 일정하기 때문에 견고성이 향상된다.
• 더 큰 d는 다수결 투표에서의 동점 상황를 감소시켜, 특히 공격 크기가 클수록 더 높은 인증 분율 향상에 기여한다.
• 이론적 분석 결과, 오염된 샘플에 대한 민감도는 O(1/k)로 스케일링됨을 확인하여, 더 큰 k에서 관찰된 견고성 향상과 일치함.
• 경험적 비교 결과, 인증 분율은 항상 인증 정확도보다 낮게 나타나, 점별 견고성과 분포 기반 견고성 간의 차이를 부각함.