[논문 리뷰] Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising

Borja Balle, Yu-Xiang Wang|arXiv (Cornell University)|2018. 05. 16.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 80

한 줄 요약

이 논문은 Gaussian CDF를 사용한 정확한 노이즈 보정과 이를 adaptive denoising 후처리와 결합하여 차등 개인정보 보호하에서 정확도를 향상시키는 분석적 Gaussian 메커니즘을 소개합니다.

ABSTRACT

The Gaussian mechanism is an essential building block used in multitude of differentially private data analysis algorithms. In this paper we revisit the Gaussian mechanism and show that the original analysis has several important limitations. Our analysis reveals that the variance formula for the original mechanism is far from tight in the high privacy regime ($\varepsilon o 0$) and it cannot be extended to the low privacy regime ($\varepsilon o \infty$). We address these limitations by developing an optimal Gaussian mechanism whose variance is calibrated directly using the Gaussian cumulative density function instead of a tail bound approximation. We also propose to equip the Gaussian mechanism with a post-processing step based on adaptive estimation techniques by leveraging that the distribution of the perturbation is known. Our experiments show that analytical calibration removes at least a third of the variance of the noise compared to the classical Gaussian mechanism, and that denoising dramatically improves the accuracy of the Gaussian mechanism in the high-dimensional regime.

연구 동기 및 목표

• 전통적 분석에서 남아 있는 여유를 제거하여 차등 개인정보 보호를 위한 Gaussian 메커니즘의 활용도를 향상시킨다.
• Tail bounds가 아닌 Gaussian CDF를 사용하여 Gaussian 노이즈 분산을 정확하게 보정한다.
• 노이즈 분포를 알고 있는 정보를 활용하는 포스트프로세싱 denoising 단계를 도입하여 정확도를 향상시킨다.
• 해석적 보정이 노이즈 분산을 감소시키고 고차원에서 denoising이 상당한 정확도 향상을 이끈다는 점을 입증한다.

제안 방법

• Gaussian CDF Phi를 이용한 Gaussian 프라이버시 손실로 표현된 필요충분조건을 도출한다.
• Delta, epsilon, delta를 이용해 보정된 노이즈 수준 sigma를 Phi 기반 제약을 풀어서 계산하는 Algorithm 1(Analytic Gaussian Mechanism)을 개발한다.
• 고전적 tail-bound 기반 분석은 최적이 아니며 특히 epsilon -> 0일 때 비효율적임을 보이고 수치적으로 stabil한 보정 절차를 제공한다.
• Gaussian 방출에 주어진 추정 오차를 개선하는 포스트프로세싱 denoising 추정기(Bayesian 및 minimax/적응형)를 도입하되 DP를 위반하지 않는다.
• Phi와 에러 함수 기반 계산을 사용한 Analytic calibration 구현에 대한 실용적 가이드를 제공한다.

실험 결과

연구 질문

• RQ1 Gaussian 메커니즘을 tail bounds 대신 직접 Gaussian CDF를 사용하여 최적으로 보정할 수 있는가?
• RQ2 Gaussian 노이즈가 추가된 출력의 포스트프로세싱 denoising이 프라이버시를 침해하지 않으면서 DP 활용도를 개선하는가?
• RQ3 프라이버시 규칙(ε 작은 것에서 큰 것까지)에 걸친 해석적 보정 및 적응형 denoising의 이론적·실용적 이점은 무엇인가?

주요 결과

• Gaussian CDF를 이용한 해석적 보정은 고전적 메커니즘에 비해 필요한 노이즈 분산을 크게 줄이며, epsilon이 작아질수록 개선이 관찰된다.
• 포스트프로세싱 denoising(James-Stein 및 soft-thresholding)은 고차원에서 평균 추정 정확도를 지속적으로 개선하며 알려지지 않은 매개변수에 적응적이다.
• 실데이터(NYC 택시 히트 맵) 및 합성 데이터에 적용한 denoising은 표준 DP 릴리스에 비해 실용적 활용도 이득을 크게 보여준다.
• 해석적 메커니즘은 DP를 유지하면서 이전 방법들보다 낮은 노이즈 수준을 달성하는 원칙적이고 정확한 보정(Algorithm 1)을 제공한다.
• 변환 도메인(예: 그래프 웨이브렛) 또는 트렌드 필터링을 통한 denoising은 구조화된 고차원 출력에서 추가적인 정확도 향상을 가져온다.