[논문 리뷰] Auditing Differentially Private Machine Learning: How Private is Private SGD?

Matthew Jagielski, Jonathan Ullman외 1명|arXiv (Cornell University)|2020. 06. 13.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 73

한 줄 요약

이 논문은 새로운 데이터 포이즈닝 공격을 사용하여 DP-SGD의 프라이버시를 실증적으로 감사하고, 프라이버시 매개변수 ε의 하한을 도출하며, 이는 이전의 실용적 방법들보다 크게 더 촘촘하고 이론적 최악의 경우 경계에 근접한다.

ABSTRACT

We investigate whether Differentially Private SGD offers better privacy in practice than what is guaranteed by its state-of-the-art analysis. We do so via novel data poisoning attacks, which we show correspond to realistic privacy attacks. While previous work (Ma et al., arXiv 2019) proposed this connection between differential privacy and data poisoning as a defense against data poisoning, our use as a tool for understanding the privacy of a specific mechanism is new. More generally, our work takes a quantitative, empirical approach to understanding the privacy afforded by specific implementations of differentially private algorithms that we believe has the potential to complement and influence analytical work on differential privacy.

연구 동기 및 목표

• 동기: 최악의 경우 DP 보장과 DP-SGD의 실용적 프라이버시 사이의 간극을 해소하기.
• 목표: DP-SGD에 대한 ε의 하한을 얻기 위해 데이터 포이즈닝 기반 감사법을 개발한다.
• 목적: 실제로 DP-SGD의 프라이버시 수준을 평가하고, 차등프라이버시에서 실증적 감사의 활용성을 탐구한다.
• 범위: 표준 데이터셋과 하이퍼파라미터를 사용하여 TensorFlow Privacy 구현에서 평가한다.

제안 방법

• A(D0)와 A(D1)의 분포를 비교하여 ε를 하한으로 구하는 오염 기반 감사법을 정의한다.
• ε_LB에 대한 확률적 보장을 제공하기 위해 Clopper–Pearson 기반 신뢰 구간을 개발한다.
• 절편 분산이 가장 작은 방향의 그래디언트 분산을 최소화하여 그래디언트 클리핑을 생존시키는 새로운 클리핑 인지 포이즈닝 공격(ClipBKD)을 설계한다.
• 다수의 데이터세트에서 DP-SGD에 대한 공격을 표준 멤버십 추론 공격과 비교한다.
• 두 데이터셋(FMNIST, CIFAR10, Purchase-100)과 두 가지 모델 유형(로지스틱 회귀 및 2층 신경망)을 DP-SGD 하에 사용한다.
• TensorFlow Privacy의 DP-SGD 구현에 이 접근법을 적용하고 경험적 ε_LB 값을 보고한다.

실험 결과

연구 질문

• RQ1 DP-SGD가 달성하는 실용적 ε 값은 이론적 최악-케이스 경계에 얼마나 근접한가?
• RQ2 데이터 포이즈닝 기반 감사가 멤버십 추론과 같은 기존 프라이버시 공격보다 ε의 더 촘촘한 하한을 제공할 수 있는가?
• RQ3 DP-SGD의 클리핑이 더 강건한 포이즈닝 공격을 가능하게 하는가, 그리고 공격이 최저 분산 방향을 어떻게 활용할 수 있는가?
• RQ4 데이터셋, 모델 유형, 그리고 DP-SGD 하이퍼파라미터가 실측 ε_LB에 어떤 영향을 미치는가?
• RQ5 실증적 감사가 이론적 DP 분석을 보완하는 데 어떤 통찰을 제공하는가?

주요 결과

• ClipBKD 및 클리핑 인식 포이즈닝 공격은 데이터셋과 모델 전반에 걸쳐 ε_LB를 산출하는 데 멤버십 추론 공격보다 현저히 더 우수하다.
• ClipBKD는 MI보다 2.5배에서 1500배까지 더 큰 ε_LB 값을 산출하며 이론적 상한 ε_th에 접근할 수 있다(예: ε_th = 4일 때 Purchase-100에서 2층 네트에서 ε_LB = 0.46).
• 표준 백도어 공격은 CIFAR10에서 데이터셋/모델 요인으로 인해 양의 ε_LB를 생성하지 못하는 경우가 많지만, ClipBKD는 표준 백도어보다 일관되게 개선된다.
• 민감도 분석에서 ε_LB는 더 높은 ε_th(노이즈 감소)에서 증가하고 초기화 난수성과 클리핑 노름에 크게 영향을 받으며 고정 초기화가 보통 더 높은 ε_LB를 산출한다.
• FMNIST, CIFAR10, P100 전반에 걸쳐 ClipBKD로 측정된 DP-SGD 프라이버시는 최악의 경우 이론 경계에 비해 현저히 낮아 실제 프라이버시가 형식적 보장보다 약할 수 있음을 시사하지만 여전히 간단하지 않다.
• 실험 전반에서 학습 정확도는 96–98%로 유지되어 프라이버시 누출을 측정하는 동안도 유용성을 해치지 않음을 시사한다.