[논문 리뷰] Run-Off Election: Improved Provable Defense against Data Poisoning Attacks

Keivan Rezaei, Kiarash Banihashem외 2명|arXiv (Cornell University)|2023. 02. 05.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 데이터 풀링 공격에 대한 증명 가능한 방어를 향상시키기 위해 모든 기본 모델의 로짓을 활용하는 두 라운드 투표 방식인 런오프 선거(Run-Off Election, ROE)를 제안한다. ROE는 상위 두 예측 클래스 간의 런오프 투표를 통해 인증된 강건성 갭을 증가시켜 최대 4% 높은 인증 정확도를 달성하며, 점별 인증 강건성 분야에서 새로운 SOTA를 수립한다. 이는 학습 계산 자원을 32배 줄여도 이전 방법을 능가한다.

ABSTRACT

In data poisoning attacks, an adversary tries to change a model's prediction by adding, modifying, or removing samples in the training data. Recently, ensemble-based approaches for obtaining provable defenses against data poisoning have been proposed where predictions are done by taking a majority vote across multiple base models. In this work, we show that merely considering the majority vote in ensemble defenses is wasteful as it does not effectively utilize available information in the logits layers of the base models. Instead, we propose Run-Off Election (ROE), a novel aggregation method based on a two-round election across the base models: In the first round, models vote for their preferred class and then a second, Run-Off election is held between the top two classes in the first round. Based on this approach, we propose DPA+ROE and FA+ROE defense methods based on Deep Partition Aggregation (DPA) and Finite Aggregation (FA) approaches from prior work. We evaluate our methods on MNIST, CIFAR-10, and GTSRB and obtain improvements in certified accuracy by up to 3%-4%. Also, by applying ROE on a boosted version of DPA, we gain improvements around 12%-27% comparing to the current state-of-the-art, establishing a new state-of-the-art in (pointwise) certified robustness against data poisoning. In many cases, our approach outperforms the state-of-the-art, even when using 32 times less computational power.

연구 동기 및 목표

• 기존 앙상블 방어 방식이 상위 두 클래스 이외의 예측을 기각함으로써 기본 모델의 로짓에서 유용한 정보를 낭비하는 한계를 해결한다.
• 예측 클래스와 런업 클래스 간의 강건성 갭을 증가시켜 데이터 풀링 공격에 대한 증명 가능한 인증을 강화한다.
• 학습 비용을 증가시키지 않으면서도 결정론적 및 확률적 앙상블 방법 모두에 일반화 가능한 집계 프레임워크를 개발한다.
• MNIST, CIFAR-10, GTSRB 벤치마크에서 데이터 풀링 공격에 대한 인증 강건성 분야에서 새로운 SOTA를 확립한다.

제안 방법

• 두 라운드 투표 메커니즘 제안: 1라운드에서는 각 기본 모델이 자신이 예측한 상위 클래스에 투표하고, 2라운드에서는 1라운드에서 선정된 상위 두 클래스만 경쟁하며, 모델들은 로짓 레이어 점수에 기반해 투표한다.
• 런오프 라운드에서 모든 기본 모델의 로짓을 활용해 예측 클래스와 런업 클래스 간의 간격을 증가시켜 강건성을 향상시킨다.
• ROE를 위한 통합된 인증 계산 프레임워크 개발. 기존 작업을 확장하여 두 라운드 투표 체계 하에서 더 복잡한 적 대응 행동을 다룰 수 있도록 한다.
• 기존 방어 프레임워크에 ROE 통합: 각각 딥 파artition 아그리게이션(DPA)과 유한 아그리게이션(FA) 기반으로 DPA+ROE 및 FA+ROE를 구현한다.
• 익명 리뷰어의 영감을 받아 개선된 변형인 DPA*를 제안하고, 이를 ROE와 조합하여 성능 향상을 이룬다.
• ROE 하에서 적의 최적 공격 전략을 수식화하고, 예측을 변경하기 위해 필요한 오염 샘플 수의 하한을 유도한다.

Figure 1 : An example illustrating our proposed method (Run-off Election) . Training dataset is partitioned into 7 parts ( $d_{1},d_{2},...,d_{7}$ ) and $7$ separate classifiers are trained on each part ( $f_{1},f_{2},...,f_{7}$ ). At test time, after giving the input to the classifiers, we obtain t

실험 결과

연구 질문

• RQ1 모든 기본 모델의 로짓 정보를 활용하는 두 라운드 투표 메커니즘이 앙상블 기반 데이터 풀링 공격 방어에서 인증 강건성 갭을 향상시킬 수 있는가?
• RQ2 다양한 적 공격 예산 하에서 ROE가 표준 다수결 투표 집계 방식과 비교해 강건성과 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 ROE가 결정론적 및 확률적 앙상블 방법 모두에 일반화되어 강화된 또는 유지된 인증 보장을 제공할 수 있는가?
• RQ4 ROE는 다양한 데이터셋과 모델 아키텍처에서 정상 정확도와 인증 정확도에 어떤 영향을 미치는가?
• RQ5 ROE는 인증 강건성 분야에서 SOTA를 유지하거나 향상시키면서 학습 비용을 얼마나 줄일 수 있는가?

주요 결과

• ROE는 표준 다수결 투표 집계 방식 대비 MNIST, CIFAR-10, GTSRB에서 최대 4% 높은 인증 정확도를 달성한다.
• DPA+ROE는 점별 인증 강건성 분야에서 새로운 SOTA를 달성하며, 학습 계산 자원을 32배 줄여도 이전 방법을 능가한다.
• FA+ROE 및 DPA*+ROE는 현재 SOTA 대비 12%~27% 높은 인증 정확도를 기록하여 ROE를 강화된 기본 모델이나 분할 기반 구조와 조합했을 때의 효과를 입증한다.
• ROE는 높은 적 공격 예산 하에서도 우수한 성능을 유지하며, FA 대비 CIFAR-10에서 5% 높은 인증 비율을 확보한다. 이는 대규모 예산에서의 성능 저하를 피한다.
• ROE는 모든 모델이 예측에 참여함으로써 정상 정확도가 약간 감소하지만, 이는 훨씬 강력한 강건성 보장을 통해 상쇄된다.
• ROE는 다수결 투표보다 증명 가능하게 더 강건하다: 예를 들어, 예측을 변경하기 위해 적은 최소 두 개의 오염 샘플이 필요하며, 다수결 투표 방식은 하나의 샘플로도 충분하다.