[논문 리뷰] Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising

Borja Balle, Yu-Xiang Wang|arXiv (Cornell University)|2018. 05. 16.

Privacy-Preserving Technologies in Data인용 수 129

한 줄 요약

논문은 CDF 기반 분산 보정으로 분석적 가우시안 메커니즘을 도입하고, 차후 처리 제거를 추가하여 특히 고차원에서 정확도를 향상시킨다.

ABSTRACT

The Gaussian mechanism is an essential building block used in multitude of differentially private data analysis algorithms. In this paper we revisit the Gaussian mechanism and show that the original analysis has several important limitations. Our analysis reveals that the variance formula for the original mechanism is far from tight in the high privacy regime ($\\varepsilon \ o 0$) and it cannot be extended to the low privacy regime ($\\varepsilon \ o \\infty$). We address these limitations by developing an optimal Gaussian mechanism whose variance is calibrated directly using the Gaussian cumulative density function instead of a tail bound approximation. We also propose to equip the Gaussian mechanism with a post-processing step based on adaptive estimation techniques by leveraging that the distribution of the perturbation is known. Our experiments show that analytical calibration removes at least a third of the variance of the noise compared to the classical Gaussian mechanism, and that denoising dramatically improves the accuracy of the Gaussian mechanism in the high-dimensional regime.

연구 동기 및 목표

• 고전적 가우시안 메커니즘의 한계 파악(높은/낮은 프라이버시 체제에서).
• (ε,δ)-DP를 위한 정확한 CDF 기반 보정을 갖춘 분석적 가우시안 메커니즘 개발.
• 사후 처리 제거가 프라이버시를 훼손하지 않으면서 유틸리티를 개선할 수 있음을 보임.
• 분석적 보정 및 제거를 구현하기 위한 실용적 알고리즘과 가이드라인 제공.
• 합성 실험 및 실제 데이터 응용을 통한 유틸리티 향상 시연해 보임.

제안 방법

• 가우시안 노이즈에 대해 (ε,δ)-DP를 보장하는 정확한 CDF 기반 보정 조건을 제시(정리 8).
• 꼬리 경계 분석을 명시적 가우시안 CDF 표현으로 대체하여 최적의 σ를 계산(알고리즘 1).
• 개인정보 손실 랜덤 변수와의 필요충분조건을 포함하여 DP 등가성을 증명(정리 5).
• Φ를 사용하고 수치 안정성을 다루는 σ를 계산하는 구현 가능한 알고리즘을 제시(정리 9).
• 알고리즘적 사후 처리 제거 전략을 제안(Bayes 및 minimax)으로 알려진 노이즈 분포를 활용(정리 10, 정리 11, 정리 12).
• 평균 추정 및 뉴욕시 택시 히트 맵에서 제거의 이득을 시연(섹션 5).

실험 결과

연구 질문

• RQ1 가우시안 CDF를 이용한 더 촘촘한 ε 기반 꼬리 경계보다 클래식 가우시안 메커니즘을 보정할 수 있는가?
• RQ2 가우시안 메커니즘이 (ε,δ)-DP를 달성하기 위해 필요한 정확한 σ는 DP 전체 조건을 고려하면 무엇인가?
• RQ3 사후 처리 제거가 특히 고차원에서 프라이버시를 해치지 않으면서 가우시안 노이즈 출력의 유틸리티를 향상시키는가?
• RQ4 합성 데이터와 실제 데이터(NYC 택시 히트 맵)에서 분석적 보정 및 제거의 성능은 어떠한가?

주요 결과

• 분석적 가우시안 메커니즘은 가우시안 CDF를 통해 σ를 보정하여 노이즈 분산을 감소시키고 프라이버시-유틸리티 트레이드오프를 더 단단하게 만들며(ε→0일 때 분산 크게 감소).
• Bayes 또는 최소-최대 전략으로 가우시안 노이즈 출력을 제거하면 고차원 및 평균 추정에서 상당한 정확도 향상을 얻을 수 있다.
• 소프트 임계 제거는 알려지지 않은 함수 클래스에 잘 적응하고 Lp-공간에서 거의 최적 위험을 제공하며 DP 릴리스를 개선한다.
• 실험 적용에서 프라이버시 평균 추정 및 NYC 택시 히트 맵에 대해 사후 처리로 유틸리티 향상이 뚜렷하게 나타났다.