[논문 리뷰] Generalization Techniques Empirically Outperform Differential Privacy against Membership Inference

Jiaxiang Liu, Simon Oya외 1명|arXiv (Cornell University)|2021. 10. 11.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 4

한 줄 요약

이 논문은 차별적 비밀보장(DP)이 멤버십 추론 공격(MIAs)에 대비한 가장 효과적인 방어 수단이라는 가정을 도전하며, 일반화 기법들인 날카움 인식 최소화(SAM)와 조기 정지가 DP-SGD보다 비밀보장성과 유티리티 측면에서 뛰어나다는 것을 입증한다. 놀랍게도, 노이즈가 없는 DP-SGD조차도 비민감한 일반화 기법보다 성능이 열 劣하다. 이는 과적합을 줄임으로써 더 높은 정확도와 더 나은 MIAs 보호 효과를 달성하기 때문이다.

ABSTRACT

Differentially private training algorithms provide protection against one of the most popular attacks in machine learning: the membership inference attack. However, these privacy algorithms incur a loss of the model's classification accuracy, therefore creating a privacy-utility trade-off. The amount of noise that differential privacy requires to provide strong theoretical protection guarantees in deep learning typically renders the models unusable, but authors have observed that even lower noise levels provide acceptable empirical protection against existing membership inference attacks. In this work, we look for alternatives to differential privacy towards empirically protecting against membership inference attacks. We study the protection that simply following good machine learning practices (not designed with privacy in mind) offers against membership inference. We evaluate the performance of state-of-the-art techniques, such as pre-training and sharpness-aware minimization, alone and with differentially private training algorithms, and find that, when using early stopping, the algorithms without differential privacy can provide both higher utility and higher privacy than their differentially private counterparts. These findings challenge the belief that differential privacy is a good defense to protect against existing membership inference attacks

연구 동기 및 목표

• 일반화 기법(모델 정확도를 위한 것으로 설계됨, 비밀보장 목적은 아님)이 실제로 멤버십 추론 공격(MIAs)에 대비하여 보호 기능을 얼마나 잘 수행하는지 평가하기 위해.
• DP-SGD의 비밀보장-유티리티 트레이드오프를 SAM, 사전 훈련, 조기 정지와 같은 비민감한 일반화 기법들과 비교하기 위해.
• SAM과 같은 고급 최적화 기법과 DP 노이즈를 조합했을 때, 유티리티를 희생시키지 않고도 비밀보장을 향상시킬 수 있는지 조사하기 위해.
• 특히 높은 유티리티 비용을 수반하기 때문에, DP가 MIAs에 대비한 최적의 방어 수단이라는 일반적인 믿음을 도전하기 위해.

제안 방법

• 저자들은 CIFAR-10 및 CIFAR-100 데이터셋에서 최신 일반화 기법인 SAM, ImageNet에서의 사전 훈련, 조기 정지를 평가한다.
• 이들 기법을 다양한 노이즈 수준(σ), 클리핑 임계값(C), 학습률(λ)을 가진 DP-SGD와 비교하며, Opacus 비밀보장 엔진을 사용해 DP 훈련을 수행한다.
• 모델은 DP 노이즈 유무에 관계없이 훈련되며, 분류 정확도와 멤버십 추론 공격 성공률을 사용해 성능을 측정한다.
• 표준 두 가지 MIAs를 사용한다: 임계값 기반 공격 (Yeom 등, 2018)과 신경망 기반 공격 (Salem 등, 2018)이며, 각 훈련 에포크에서 결과를 보고한다.
• DP-SAM(즉, SAM과 DP-SGD의 융합)에 대한 분석 실험을 통해, 두 기법을 조합했을 때 비밀보장-유티리티 트레이드오프가 향상되는지 평가한다.
• 모든 실험은 조기 정지를 포함하며, 비밀보장-유티리티 성능을 여러 훈련 에포크에 걸쳐 평가해 동적 행동을 분석한다.

실험 결과

연구 질문

• RQ1 SAM 및 조기 정지와 같은 일반화 기법을 사용한 훈련이 DP-SGD보다 멤버십 추론 공격에 대해 더 나은 경험적 보호를 제공하는가?
• RQ2 노이즈 수준을 0으로 줄였을 때 DP-SGD의 비밀보장-유티리티 트레이드오프는 어떻게 되며, 비민감한 일반화 기법과 비교해 볼 때 어떻게 되는가?
• RQ3 SAM과 DP-SGD를 조합한 DP-SAM은 표준 DP-SGD보다 유티리티를 떨어뜨리지 않고 비밀보장을 향상시킬 수 있는가?
• RQ4 ImageNet에서의 사전 훈련 및 기타 표준 머신러닝 실천 방법은 모델의 멤버십 추론 공격에 대한 저항력에 어떤 영향을 미치는가?
• RQ5 특정 훈련 단계(예: 조기 정지)에서 비민감 모델이 정확도와 비밀보장 측면에서 DP 정규화 모델을 초월하는가?

주요 결과

• 노이즈가 없는 DP-SGD는 비민감한 일반화 기법보다 비밀보장성과 유티리티 측면에서 항상 열 劣하며, 이는 DP 노이즈가 유의미한 이점을 제공하지 못하고 오히려 성능을 악화시킬 수 있음을 시사한다.
• SAM은 CIFAR-10 및 CIFAR-100 양쪽 모두에서 비밀보장성과 유티리티 측면에서 DP-SGD를 뛰어넘으며, 더 높은 테스트 정확도와 더 낮은 멤버십 추론 공격 성공률을 달성한다.
• 어떤 노이즈 수준이든 DP-SGD보다 노이즈 없이 조기 정지한 경우가 더 나은 비밀보장-유티리티 트레이드오프를 보이며, 과적합 감소가 노이즈 주입보다 더 효과적임을 시사한다.
• SAM과 DP-SGD를 조합한 DP-SAM은 비민감한 SAM보다 비밀보장을 향상시키지 못하며, 정확도와 공격 저항력 측면에서 여전히 비민감한 버전이 열 劣하다.
• 평가된 모든 방법 중에서, 비민감한 SAM에 조기 정지를 결합한 방법이 높은 정확도와 낮은 멤버십 추론 성공률의 최적의 균형을 이룬다. 특히 이질적 샘플에 대해 뛰어난 성능을 보인다.
• 결과적으로, 과적합을 줄이는 일반화 기법은 본질적으로 비밀보장을 향상시키며, 이는 경험적 MIAs 방어에 DP가 반드시 필요하다는 전제를 도전한다.