[논문 리뷰] A Critical Review on the Use (and Misuse) of Differential Privacy in Machine Learning

Alberto Blanco-Justicia, David Sánchez외 2명|arXiv (Cornell University)|2022. 06. 09.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

이 논문은 기계학습에서 미분적 비밀유지(DP)의 사용을 비판적으로 평가하며, 대부분의 구현 사례가 이론적 DP의 비밀유지 보장을 제공하지 못할 정도로 느슨하게 파arameter화되어 있음을 주장한다. 대신 이들은 전통적인 통계적 유출 방지 기법과 기능적으로 동일한 단순한 노이즈 추가에 불과하며, DP가 약속하는 사전 보장을 제공하지 못하고 오히려 사후적 비밀유지 보호에 그치며, 표준 과적합 방지 기법보다도 유효성과 효율성 면에서 열등하다.

ABSTRACT

We review the use of differential privacy (DP) for privacy protection in machine learning (ML). We show that, driven by the aim of preserving the accuracy of the learned models, DP-based ML implementations are so loose that they do not offer the ex ante privacy guarantees of DP. Instead, what they deliver is basically noise addition similar to the traditional (and often criticized) statistical disclosure control approach. Due to the lack of formal privacy guarantees, the actual level of privacy offered must be experimentally assessed ex post, which is done very seldom. In this respect, we present empirical results showing that standard anti-overfitting techniques in ML can achieve a better utility/privacy/efficiency trade-off than DP.

연구 동기 및 목표

• 기계학습에서의 미분적 비밀유지(DP)가 이론적 비밀유지 약속을 이행하는지 조사하기.
• 표준 과적합 방지 기법과 비교해 DP 기반 기계학습의 실용적 유효성과 비밀유지의 상호 보완적 관계 평가하기.
• 실제 기계학습 응용 분야에서 흔히 사용되는 DP 파arameter화(예: ε > 1)의 타당성 평가하기.
• 특히 (ε,δ)-DP와 같은 완화 조건이 사용될 경우 DP가 기계학습에서의 비밀유지 기준 기준이 되는지에 대한 주장 도전하기.
• 다수의 DP-ML 연구에서 공식 보장을 받지 못함에도 불구하고 경험적 비밀유지 평가가 부족한 점을 부각하기.

제안 방법

• 저자는 DP-ML 모델을 훈련하기 위한 표준 알고리즘인 DP-SGD를 분석하며, 기울기 클리핑과 노이즈 주입에 초점을 맞춘다.
• 목표 ε 값에 도달하기 위해 노이즈 수준(σ)을 조정하기 위해 반복 실험을 수행하며, 유효성 중심 접근 방식을 모방한다.
• 테스트 정확도, 훈련 시간, 비밀유지 보호 측면에서 DP-SGD를 표준 기계학습 기법(예: 가중치 감소, 드롭아웃)과 비교한다.
• DP와 랜덤라이즈드 리스폰스 간의 연결을 활용해 고ε 값(예: ε = 0.1)이 실제로 제공하는 비밀유지 수준을 해석한다.
• 딥 모델에서 DP-SGD의 확장성 평가하며, ε가 너무 낮을 경우 정확도가 랜덤 추측 수준에 도달해 정지함을 지적한다.
• 마이크로배치 크기가 DP-SGD의 훈련 효율성과 정확도 손실에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 기계학습에서 현재 구현된 미분적 비밀유지는 DP 모델이 약속하는 사전 비밀유지 보장을 실제로 제공하는가?
• RQ2 표준 과적합 방지 기법과 비교해 DP-ML의 실제 비밀유지-유효성-효율성 상호보완적 관계는 어떠한가?
• RQ3 일반적으로 사용되는 비밀유지 파aram터(예: ε = 0.1)는 실제 세계의 비밀유지 보호 측면에서 이론적으로 안전한 값(ε ≤ 1)과 비교해 어떻게 다른가?
• RQ4 공식 보장이 없음에도 불구하고 대부분의 DP-ML 연구에서 경험적 비밀유지 평가가 생략되는 이유는 무엇인가?
• RQ5 표준 기계학습 기법인 가중치 감소와 드롭아웃은 DP-SGD보다 더 나은 비밀유지-유효성 상호보완적 관계를 달성할 수 있는가?

주요 결과

• 대부분의 DP-ML 구현 사례는 이론적으로 안전한 기준(ε ≤ 1)에서 크게 벗어난 파aram터(예: ε = 0.1)를 사용하여 공식적인 비밀유지 보장을 무효화한다.
• 이러한 구현 사례가 제공하는 실제 비밀유지 보호는 진정한 미분적 비밀유지가 아니라 전통적 노이즈 추가와 기능적으로 동일하며, 사전 보장을 제공하지 않고 사후 평가가 필요하다.
• 목표 ε(예: ε = 0.1)를 달성하기 위해 사용하는 반복적 보정 과정은 DP의 사전 설계 모델이 아니라 공식 통계의 유효성 중심 접근 방식을 반영한다.
• 표준 과적합 방지 기법인 가중치 감소와 드롭아웃은 DP-SGD보다 훨씬 낮은 훈련 비용으로 더 나은 유효성-비밀유지-효율성 상호보완적 관계를 달성한다.
• ε가 너무 작을 경우 DP-SGD의 정확도는 클래스 수의 역수(즉, 랜덤 추측 수준)에 도달해 정지하며, 이는 복잡한 모델에 대해 실현 불가능하다.
• DP-SGD는 개별 인스턴스 기울기 클리핑으로 인해 기준 방법보다 15~40배 느리며, 이는 GPU 배치 처리의 이점을 상실하게 한다.