[논문 리뷰] DP-InstaHide: Provably Defusing Poisoning and Backdoor Attacks with Differentially Private Data Augmentations

Eitan Borgnia, Jonas Geiping외 7명|arXiv (Cornell University)|2021. 03. 02.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 17

한 줄 요약

이 논문은 믹스업 데이터 증강과 라플라스 노이즈를 조합한 새로운 방어 기법인 DP-InstaHide를 제안한다. 이는 차별적 프라이버시를 증명 가능하게 향상시키며, 데이터 풀링 공격 및 백도어 공격에 대한 강건성을 확보한다. k-way 믹스업을 활용함으로써 표준 차별적 프라이버시 학습 대비 적어도 k배 더 강력한 프라이버시 보장을 달성하면서도 높은 모델 정확도를 유지하고, 기존 방어 기법들보다 경험적으로 뛰어나다.

ABSTRACT

Data poisoning and backdoor attacks manipulate training data to induce security breaches in a victim model. These attacks can be provably deflected using differentially private (DP) training methods, although this comes with a sharp decrease in model performance. The InstaHide method has recently been proposed as an alternative to DP training that leverages supposed privacy properties of the mixup augmentation, although without rigorous guarantees. In this work, we show that strong data augmentations, such as mixup and random additive noise, nullify poison attacks while enduring only a small accuracy trade-off. To explain these finding, we propose a training method, DP-InstaHide, which combines the mixup regularizer with additive noise. A rigorous analysis of DP-InstaHide shows that mixup does indeed have privacy advantages, and that training with k-way mixup provably yields at least k times stronger DP guarantees than a naive DP mechanism. Because mixup (as opposed to noise) is beneficial to model performance, DP-InstaHide provides a mechanism for achieving stronger empirical performance against poisoning attacks than other known DP methods.

연구 동기 및 목표

• 정제되지 않은 웹 스크래핑 데이터로 학습되는 머신러닝 시스템에서 증가하는 데이터 풀링 공격 및 백도어 공격의 위협을 해결하기 위해.
• 이전에는 공식적인 프라이버시 근거 없이 사용된 믹스업과 같은 데이터 증강 기법에 대해 엄밀한 차별적 프라이버시 보장을 제공하기 위해.
• 믹스업과 추가 노이즈를 융합함으로써 방어 학습의 강건성-정확도 트레이드오프를 향상시키고, 표준 차별적 프라이버시 방법을 능가하기 위해.
• 강력한 데이터 증강 기법이 본질적으로 프라이버시 이점을 제공함을 보여주며, 성능 저하를 최소한으로 하면서 증명 가능한 방어를 가능하게 하기 위해.

제안 방법

• 이 방법은 각 훈련 샘플이 데이터셋의 k개 랜덤 데이터 포인트의 볼록 조합이 되는 k-way 믹스업을 도입하여, 데이터를 단위 초입방정식의 중심부에 집중시킨다.
• 혼합된 샘플에 라플라스 노이즈를 추가하여 차별적 프라이버시를 확보하며, 노이즈 스케일을 조정하여 원하는 프라이버시 예산을 달성한다.
• 이론적 분석을 통해 k-way 믹스업이 표준 DP 메커니즘 대비 프라이버시 보장을 k배 향상시켜 에프리콘을 k배 감소시킴을 증명한다.
• 이 방법은 컷믹스 및 맥스업과 같은 다른 증강 기법으로도 확장되며, 유사하게 노이즈를 추가하여 강건성을 향상시킨다.
• 이 방법은 차별적 프라이버시의 구성성 성질을 활용하여 다중 훈련 단계 및 데이터 포인트를 고려한다.
• 경험적 평가에서는 CIFAR-10에 대해 ResNet-18을 훈련한 후, 적응형 위협 모델 하에서 방어 효과를 테스트하기 위해 기울기 일치 공격을 사용한다.

실험 결과

연구 질문

• RQ1 믹스업과 같은 강력한 데이터 증강 기법이 데이터 풀링 공격에 대해 증명 가능한 차별적 프라이버시 보장을 제공할 수 있는가?
• RQ2 믹스업과 추가 노이즈를 조합하면 노이즈만 사용할 경우보다 더 강력한 프라이버시를 달성할 수 있으며, 그 정도는 어느 정도인가?
• RQ3 k-way 믹스업 메커니즘이 표준 차별적 프라이버시 학습 대비 프라이버시-정확도 트레이드오프를 어떻게 향상시키는가?
• RQ4 믹스업의 프라이버시 이점은 컷믹스 및 맥스업과 같은 다른 증강 기법으로도 확장되는가?
• RQ5 믹스업에 대해 유도된 이론적 프라이버시 경계가 적응형 풀링 공격에 대한 경험적 방어 성능을 정확히 예측할 수 있는가?

주요 결과

• k-way 믹스업은 최소한 k배의 프라이버시 보장을 향상시켜, 표준 DP 학습 대비 프라이버시 예산 에프리콘을 k배 감소시킨다.
• 이론적 분석은 믹스업 자체가 프라이버시 이점을 제공하며, 라플라스 노이즈와 조합할 경우 더 강력한 프라이버시를 확보하면서 정확도 손실을 최소화함을 확인한다.
• 경험적 결과로는, CIFAR-10에서 라플라스 노이즈(스케일 16/255)를 적용한 맥스업이 적응형 기울기 일치 풀링 공격을 완전히 무력화함을 보였다.
• 정리된 정리 2에 기반한 이론적 프라이버시 경계는 경험적 방어 성능을 정확히 예측하며, 모델의 신뢰성을 검증한다.
• 이 방법은 강건성과 정확도 모두에서 표준 DP 학습을 능가하며, 실용적 구현에 유리한 트레이드오프를 보여준다.
• 믹스업의 프라이버시 이점은 공식 보장이 없었고 후에 해킹된 원래의 인스타하이드 방법을 초월한다.