[论文解读] Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising

Borja Balle, Yu-Xiang Wang|arXiv (Cornell University)|May 16, 2018

Privacy-Preserving Technologies in Data参考文献 15被引用 80

一句话总结

本论文提出一种解析高斯机制，使用高斯 CDF 进行精确的噪声标定，并将其与自适应去噪后处理相结合，以在差分隐私下提高准确性。

ABSTRACT

The Gaussian mechanism is an essential building block used in multitude of differentially private data analysis algorithms. In this paper we revisit the Gaussian mechanism and show that the original analysis has several important limitations. Our analysis reveals that the variance formula for the original mechanism is far from tight in the high privacy regime ($\varepsilon o 0$) and it cannot be extended to the low privacy regime ($\varepsilon o \infty$). We address these limitations by developing an optimal Gaussian mechanism whose variance is calibrated directly using the Gaussian cumulative density function instead of a tail bound approximation. We also propose to equip the Gaussian mechanism with a post-processing step based on adaptive estimation techniques by leveraging that the distribution of the perturbation is known. Our experiments show that analytical calibration removes at least a third of the variance of the noise compared to the classical Gaussian mechanism, and that denoising dramatically improves the accuracy of the Gaussian mechanism in the high-dimensional regime.

研究动机与目标

• 提高差分隐私中高斯机制的效用，去除传统分析中的松弛。
• 使用 Gaussian CDF 而非尾部界限来精确标定高斯噪声方差。
• 引入一个后处理去噪步骤，利用已知的噪声分布来提升准确性。
• 证明解析标定降低了噪声方差，且去噪在高维下带来显著的准确性提升。

提出的方法

• 推导一个以高斯隐私损失通过高斯 CDF Phi 表达的必要充分隐私条件。
• 开发 Algorithm 1（Analytic Gaussian Mechanism），通过求解基于 Phi 的约束，从 Delta、epsilon、delta 计算标定后的噪声水平 sigma。
• 表明经典尾部界限分析在子优化，特别是当 epsilon -> 0 时，并提供数值稳定的标定程序。
• 引入后处理去噪估计量（贝叶斯和极小极大/自适应），在高斯输出下改进估计误差，同时不违反 DP。
• 提供关于使用 Phi 和误差函数计算实现解析标定的实际指南。

实验结果

研究问题

• RQ1 高斯机制是否能通过直接使用高斯 CDF 而非尾部界限来实现最优标定？
• RQ2 对高斯噪声输出的后处理去噪是否在不损害隐私的前提下提升 DP 的效用？
• RQ3 解析标定和自适应去噪在不同隐私区间（epsilon 小到大）中的理论与实际好处有哪些？

主要发现

• 使用高斯 CDF 的解析标定相较经典机制显著降低所需噪声方差，且当 epsilon 下降时改善可观测。
• 后处理去噪（James-Stein 与软阈值）在高维下持续提高均值估计准确性，且对未知参数具有自适应性。
• 对真实数据（NYC taxi heat maps）和合成数据的去噪方法展示了相较标准 DP 发布的显著实际效用提升。
• 解析机制提供了一个有原则、精确的标定（Algorithm 1），在保持 DP 的同时实现比以往方法更低的噪声水平。
• 通过转化域（如图小波）或趋势过滤的去噪在结构化高维输出中带来进一步的准确性提升。