[논문 리뷰] Privacy for Free: Posterior Sampling and Stochastic Gradient Monte Carlo

Yu-Xiang Wang, Stephen E. Fienberg외 1명|arXiv (Cornell University)|2015. 02. 26.

Privacy-Preserving Technologies in Data참고 문헌 43인용 수 96

한 줄 요약

이 논문은 표준 정규 조건 하에서 베이지안 추론에서 사후 표본 추출이 본질적으로 차별적 프라이버시를 '무료로' 제공한다는 것을 보여주며, 스모وث드 그래디언트 MCMC 방법들인 스모وذ드 그래디언트 랭드비안 다이내믹스(SGLD)가 최소한의 알고리즘 수정으로 $(\epsilon,\delta)$-차별적 프라이버시를 유지한다는 것을 보여준다. 핵심 기여는 베이지안 추론과 차별적 프라이버시 사이의 이론적으로 타당한 연결을 수립함으로써, 유용성을 희생시키지 않은 채 사전적이고, 일致적이며, 계산적으로 효율적인 학습을 가능하게 한다.

ABSTRACT

We consider the problem of Bayesian learning on sensitive datasets and present two simple but somewhat surprising results that connect Bayesian learning to "differential privacy:, a cryptographic approach to protect individual-level privacy while permiting database-level utility. Specifically, we show that that under standard assumptions, getting one single sample from a posterior distribution is differentially private "for free". We will see that estimator is statistically consistent, near optimal and computationally tractable whenever the Bayesian model of interest is consistent, optimal and tractable. Similarly but separately, we show that a recent line of works that use stochastic gradient for Hybrid Monte Carlo (HMC) sampling also preserve differentially privacy with minor or no modifications of the algorithmic procedure at all, these observations lead to an "anytime" algorithm for Bayesian learning under privacy constraint. We demonstrate that it performs much better than the state-of-the-art differential private methods on synthetic and real datasets.

연구 동기 및 목표

• 베이지안 사후 표본 추출과 차별적 프라이버시 사이의 이론적 연결을 수립하기 위해.
• 표준 가정 하에서 사후 분포에서의 표본 추출이 본질적으로 차별적 프라이버시를 갖는 조건를 밝혀내기 위해.
• 스모وذ드 그래디언트 MCMC 방법들이 최소한의 수정으로 차별적 프라이버시를 유지하는지 보여주기 위해.
• 차별적 프라이버시를 위한 효율적이고 언제나 사용 가능한 알고리즘을 개발하기 위해.
• 최신 기술 수준의 차별적 프라이버시를 갖는 경험적 리스크 최소화 기법들과의 실증적 검증을 수행하기 위해.

제안 방법

• 제한된 로그우도를 갖는 사후 분포에서의 단일 표본이 $\epsilon$-차별적 프라이버시를 갖는다는 것을 증명한다.
• 고전적 기법과 고도화된 복합 정리(advanced composition theorems)를 적용하여 스모وذ드 그래디언트 MCMC 알고리즘의 프라이버시를 확립한다.
• 개인 정보 보호된 기울기와 공분산 추정을 갖는 스모وذ드 그래디언트 파이셔 스코링(DP-SGFS)의 변형을 제안한다.
• 기울기의 방향 감도를 고려하기 위해 비구형 정규 기법(non-spherical Gaussian mechanism)을 사용한다.
• 표본 추출과 복합 정리에 의한 프라이버시 약화를 통해 총 프라이버시 손실을 제한한다.
• 부드러움과 기울기의 유한성 가정 하에서 프라이버시 보장을 유도하며, 표본 공분산 행렬의 감도 상한을 유도한다.

실험 결과

연구 질문

• RQ1 베이지안 추론에서 사후 표본 추출이 명시적인 프라이버시 메커니즘 없이도 차별적 프라이버시를 제공할 수 있는가?
• RQ2 어떤 조건에서 단일 사후 표본이 $\epsilon$-차별적 프라이버시를 갖는가?
• RQ3 스모وذ드 그래디언트 랭드비안 다이내믹스(SGLD)와 같은 스모وذ드 그래디언트 MCMC 방법들이 최소한의 수정으로 차별적 프라이버시를 습득하는가?
• RQ4 피셔 정보의 개인 정보 보호된 추정은 프라이버시와 점근적 효율성을 유지하면서 달성 가능한가?
• RQ5 개인 정보 보호된 사후 표본 추출의 성능은 최신 기술 수준의 차별적 프라이버시를 갖는 경험적 리스크 최소화 기법들과 비교해 어떻게 되는가?

주요 결과

• 제한된 로그우도를 갖는 베이지안 모델의 사후 분포에서의 단일 표본은 표준 정규 조건 하에서 $\epsilon$-차별적 프라이버시를 갖는다.
• 모델이 일致적이고 점근적으로 정규 분포를 따를 경우, 사후 표본은 통계적으로 일치적이며 거의 최적이다.
• 작은 스텝 사이즈를 갖는 스모وذ드 그래디언트 랭드비안 다이내믹스(SGLD) 및 유사 방법들은 알고리즘 수정 없이 $(\epsilon,\delta)$-차별적 프라이버시를 유지한다.
• 제안된 DP-SGFS 알고리즘은 기울기와 부드러움에 대한 유한성 가정 하에서 $(2\epsilon, 2\delta)$-차별적 프라이버시를 달성한다.
• 실증 결과는 이 방법이 합성 및 실제 데이터셋에서 최신 기술 수준의 차별적 프라이버시를 갖는 경험적 리스크 최소화 솔버들을 능가함을 보여준다.
• 샘플 공분산 행렬의 감도가 $\frac{7L^2}{n-1}$로 유한함을 고려할 때, 프라이버시 보장이 유지된다.