[논문 리뷰] Robustness Threats of Differential Privacy

Nurislam Tursynbek, Aleksandr Petiushko외 1명|arXiv (Cornell University)|2020. 12. 14.

Privacy-Preserving Technologies in Data참고 문헌 57인용 수 4

한 줄 요약

이 논문은 딥 러닝에서 미분적 비밀유지(DP)와 모델의 강건성 간의 상충관계를 조사하며, DP-SGD 학습이 비록 개인정보 보호성을 향상시키지만, 적대적 공격과 데이터 오염에 대한 강건성을 감소시킬 수 있음을 입증한다. 놀랍게도 특정 조건—특히 높은 기울기 클리핑 기준값일 경우—에서 DP는 노이즈 유도 최적화 이점으로 인해 강건성을 향상시킬 수도 있다.

ABSTRACT

Differential privacy (DP) is a gold-standard concept of measuring and guaranteeing privacy in data analysis. It is well-known that the cost of adding DP to deep learning model is its accuracy. However, it remains unclear how it affects robustness of the model. Standard neural networks are not robust to different input perturbations: either adversarial attacks or common corruptions. In this paper, we empirically observe an interesting trade-off between privacy and robustness of neural networks. We experimentally demonstrate that networks, trained with DP, in some settings might be even more vulnerable in comparison to non-private versions. To explore this, we extensively study different robustness measurements, including FGSM and PGD adversaries, distance to linear decision boundaries, curvature profile, and performance on a corrupted dataset. Finally, we study how the main ingredients of differentially private neural networks training, such as gradient clipping and noise addition, affect (decrease and increase) the robustness of the model.

연구 동기 및 목표

• 미분적 비밀유지(DP-SGD)를 사용해 딥 네트워크를 학습할 경우, 적대적 공격과 데이터 오염에 대한 강건성이 손상되는지 조사하기.
• 기울기 클리핑과 노이즈 추가와 같은 핵심 DP-SGD 구성 요소가 모델 강건성에 미치는 영향 분석하기.
• 비밀유지-강건성 상충관계가 본질적인 한계인지, 아니면 다양한 하이퍼파rameter 설정에 따라 달라지는지 판단하기.
• 비밀유지와 강건성이 동시에 향상될 수 있는 조건을 탐색하여, 상충관계가 본질적인 것으로 간주되는 것에 도전하기.

제안 방법

• 다섯 가지 지표를 사용해 강건성 실증 평가: FGSM 및 PGD 공격 성공률, 적대적 오분류까지의 반복 횟수, ℓ₂ 및 ℓ∞ 노름에서 决정 경계까지의 거리, 곡률 프로파일, 오염된 MNIST에서의 성능.
• 다양한 클리핑 기준값(C)과 노이즈 스케일(σ)을 사용해 MNIST에서 컨볼루션 신경망을 DP-SGD로 훈련하고, 강건성과 비밀유지 간의 상충관계를 체계적으로 측정하기.
• 기울기 클리핑과 노이즈 추가의 영향을 분해하기 위해 각각의 기여도를 개별적으로 분석하기.
• 각 예측에 대한 기울기 클리핑과 가우시안 노이즈 주입을 사용해 (ε, δ)-미분적 비밀유지 보장하는 DP-SGD 알고리즘 사용하기.
• 교차단면을 통한 시각화를 통해 표준 SGD와 DP-SGD 모델 간 기하학적 변화를 정성적으로 비교하기.
• 기울기 노이즈(N(0, σ²C²I))의 역할을 최적화 과정에서 분석하고, 깊은 신경망에서 일반화 및 강건성 향상 가능성을 탐색하기.

실험 결과

연구 질문

• RQ1 DP-SGD로 학습하면 딥 네트워크의 적대적 예제와 일반적인 데이터 오염에 대한 강건성이 감소하는가?
• RQ2 DP-SGD의 핵심 구성 요소인 기울기 클리핑과 노이즈 추가는 모델 강건성에 어떤 영향을 미치는가?
• RQ3 어떤 조건에서, 만약 존재한다면, 미분적 비밀유지가 모델 강건성을 떨어뜨리지 않고 오히려 향상시킬 수 있는가?
• RQ4 비밀유지-강건성 상충관계는 본질적인 제약인가, 아니면 비밀유지와 강건성이 동시에 유지되는 하이퍼파rameter 영역이 존재하는가?
• RQ5 기울기 노이즈 크기(비례적으로 C²에 비례)는 강건성에 어떤 영향을 미치며, 비밀유지 예산과 어떻게 상호작용하는가?

주요 결과

• 대부분의 설정에서 DP-SGD 학습은 FGSM 및 PGD 공격에 대한 강건성을 감소시키며, 적대적 예제에서 명백한 정확도 하락이 관찰된다.
• DP-SGD 하에서 가장 가까운 ℓ₂ 및 ℓ∞ 결합 경계까지의 거리가 감소하여, 더 취약한 결정 경계 기하학을 나타낸다.
• DP-SGD 모델의 곡률 프로파일은 국소 곡률이 증가함을 보여주며, 더 민감하고 안정성 낮은 결정 표면임을 시사한다.
• 오염된 MNIST 데이터에서의 성능은 DP-SGD 하에서 악화되어 일반적인 오염에 대한 강건성 감소를 확인한다.
• 충분히 큰 클리핑 기준값(C = 3.0)을 사용할 경우, FGSM 강건성에 놀랍게도 '평탄한 구간'이 나타나고, C를 더 높일수록 강건성이 향상됨을 보여, 비단조화적인 상충관계임을 시사한다.
• 높은 기울기 노이즈(큰 C에서 유도됨)는 강건성을 향상시킬 수 있으며, 이는 비밀유지로 인한 취약성과 상쇄될 수 있는 유익한 최적화 효과를 시사한다.