[论文解读] Privacy and Utility Tradeoff in Approximate Differential Privacy

Quan Geng, Wei Ding+2 more|arXiv (Cornell University)|Oct 1, 2018

Privacy-Preserving Technologies in Data参考文献 18被引用 12

一句话总结

本文提出截断拉普拉斯机制，这是一种新型的 $(\epsilon,\delta)$-差分隐私噪声添加机制，适用于单一定量查询。通过结合线性规划的对偶性下界与一种新颖的机制设计——截断拉普拉斯尾部，作者证明该机制在高隐私环境下为最优，消除了先前存在的常数倍乘间隙，并在所有隐私水平下均优于最优高斯机制。

ABSTRACT

We characterize the minimum noise amplitude and power for noise-adding mechanisms in $(ε, δ)$-differential privacy for single real-valued query function. We derive new lower bounds using the duality of linear programming, and new upper bounds by proposing a new class of $(ε,δ)$-differentially private mechanisms, the \emph{truncated Laplacian} mechanisms. We show that the multiplicative gap of the lower bounds and upper bounds goes to zero in various high privacy regimes, proving the tightness of the lower and upper bounds and thus establishing the optimality of the truncated Laplacian mechanism. In particular, our results close the previous constant multiplicative gap in the discrete setting. Numeric experiments show the improvement of the truncated Laplacian mechanism over the optimal Gaussian mechanism in all privacy regimes.

研究动机与目标

• 为离散设置下 $(\epsilon,\delta)$-差分隐私的噪声添加机制关闭常数倍乘间隙。
• 利用线性规划的对偶性，推导出真实值查询函数下最小噪声幅度和功率的新下界。
• 设计一类新型机制——截断拉普拉斯机制，以实现噪声需求的更紧致上界。
• 通过证明在高隐私环境下，下界与上界之间的倍乘间隙趋于零，建立截断拉普拉斯机制的最优性。
• 通过实验验证，该机制在所有隐私环境下均优于最优高斯机制，表现出更优的实用性（更低的噪声幅度和功率）。

提出的方法

• 将连续噪声概率分布和损失函数离散化，将函数优化问题转化为线性规划问题。
• 利用线性规划的对偶性，推导出在 $(\epsilon,\delta)$-差分隐私下，真实值查询函数的最小噪声幅度和功率的新下界。
• 提出截断拉普拉斯机制，该机制结合小噪声处的快速衰减与大噪声处的突兀截断，以避免重尾分布。
• 校准截断点，以确保满足 $(\epsilon,\delta)$-差分隐私，同时最小化噪声功率。
• 将截断拉普拉斯机制与通过高斯累积分布函数校准的最优高斯机制进行比较，而非使用尾部界限。
• 在 $\epsilon \in [10^{-4}, 10]$ 和 $\delta \in [10^{-6}, 0.1]$ 范围内进行数值实验，评估噪声幅度和功率的比值。

实验结果

研究问题

• RQ1 对于单一定量查询函数的 $(\epsilon,\delta)$-差分隐私机制，其噪声幅度和功率的根本下界是什么？
• RQ2 能否设计一种新型噪声添加机制，使其在噪声需求上的上界比高斯机制更紧致？
• RQ3 在高隐私环境下，所推导的下界与上界之间的倍乘间隙是否趋近于1，从而表明最优性？
• RQ4 在所有隐私环境下，截断拉普拉斯机制与最优高斯机制相比，在噪声效率方面表现如何？
• RQ5 先前在离散设置下存在的常数倍乘间隙，是否可在连续实值情况下得以消除？

主要发现

• 随着 $\epsilon \to 0$，新推导的噪声幅度和功率的下界与上界之间的倍乘间隙趋近于1，证明了边界的紧致性。
• 在 $\epsilon = \delta \to 0$ 的情形下，噪声功率的下界与上界之比趋近于1，确认了截断拉普拉斯机制的最优性。
• 数值实验表明，截断拉普拉斯机制在所有隐私环境下均较最优高斯机制降低了噪声幅度和噪声功率。
• 性能提升归因于小值噪声密度的更快衰减以及通过截断消除了重尾分布。
• 下界通过离散化和线性规划对偶性推导得出，将先前针对整数值查询函数的结果扩展至实数值查询函数。
• 结果消除了先前在离散设置下已知的常数倍乘间隙，如 Geng & Viswanath (2016a) 所确立。