[论文解读] Elliptical Perturbations for Differential Privacy

Matthew Reimherr, Jordan Awan|arXiv (Cornell University)|May 23, 2019

Privacy-Preserving Technologies in Data参考文献 41被引用 4

一句话总结

本文研究了在有限维与无限维空间中使用椭球分布实现差分隐私（DP）的可行性。研究结果表明，尽管在特定条件下椭球扰动可在有限维空间中实现 $\epsilon$-DP，但在无限维空间中，任何椭球分布都无法实现 $\epsilon$-DP，仅能实现 $(\epsilon,\delta)$-DP，原因在于此类设置下椭球分布与高斯过程等价。

ABSTRACT

We study elliptical distributions in locally convex vector spaces, and determine conditions when they can or cannot be used to satisfy differential privacy (DP). A requisite condition for a sanitized statistical summary to satisfy DP is that the corresponding privacy mechanism must induce equivalent measures for all possible input databases. We show that elliptical distributions with the same dispersion operator, $C$, are equivalent if the difference of their means lies in the Cameron-Martin space of $C$. In the case of releasing finite-dimensional projections using elliptical perturbations, we show that the privacy parameter $\ep$ can be computed in terms of a one-dimensional maximization problem. We apply this result to consider multivariate Laplace, $t$, Gaussian, and $K$-norm noise. Surprisingly, we show that the multivariate Laplace noise does not achieve $\ep$-DP in any dimension greater than one. Finally, we show that when the dimension of the space is infinite, no elliptical distribution can be used to give $\ep$-DP; only $(ε,δ)$-DP is possible.

研究动机与目标

• 确定椭球分布在局部凸向量空间中满足差分隐私的条件。
• 分析由椭球扰动诱导的概率测度之间的等价性。
• 研究椭球噪声在无限维设置下是否可实现纯 $\epsilon$-DP。
• 通过可调节依赖结构与尾部行为的椭球分布，将拉普拉斯机制扩展至多变量与函数型数据。
• 建立椭球机制在无限维函数空间中实现 $(\epsilon,\delta)$-DP 的条件。

提出的方法

• 本文研究了局部凸向量空间中的椭球分布，重点分析其通过Cameron-Martin空间实现的测度等价性。
• 推导出当两个椭球分布具有相同散布算子 $C$ 时，其测度等价的条件，即均值差是否属于 $C$ 的Cameron-Martin空间。
• 对于有限维摘要，将隐私参数 $\epsilon$ 简化为一维最大化问题。
• 将该框架应用于多变量拉普拉斯、$t$、高斯及 $K$-范数噪声，表明多变量拉普拉斯在维度大于1时无法实现 $\epsilon$-DP。
• 证明在无限维空间中，任意椭球分布均等价于高斯位置混合，因此无法实现 $\epsilon$-DP。
• 通过高斯混合构造，建立 $(\epsilon,\delta)$-DP 保证，其中 $\delta$ 由混合变量 $V$ 的矩生成函数导出。

实验结果

研究问题

• RQ1 在局部凸空间中，具有相同散布算子的两个椭球分布在何种条件下是等价的？
• RQ2 多变量拉普拉斯噪声是否可在维度大于一的情况下实现 $\epsilon$-DP？
• RQ3 在无限维函数空间中，能否通过椭球扰动实现 $\epsilon$-DP？
• RQ4 椭球过程的混合结构如何影响无限维空间中的隐私保障？
• RQ5 在无限维设置下，椭球机制能否在满足 $(\epsilon,\delta)$-DP 的前提下，实现优于高斯机制的效用？

主要发现

• 具有相同散布算子 $C$ 的椭球分布是等价的，当且仅当其均值差属于 $C$ 的Cameron-Martin空间。
• 在有限维设置中，隐私参数 $\epsilon$ 可通过一维最大化问题计算得出。
• 多变量拉普拉斯分布无法在任一维度大于1的情况下实现 $\epsilon$-DP。
• 在无限维空间中，任何椭球分布均无法实现 $\epsilon$-DP；仅可实现 $(\epsilon,\delta)$-DP。
• 椭球过程中混合变量 $V$ 可从净化输出 $\widetilde{T}_D$ 中恢复，使得该机制实质上为高斯混合。
• 对于 $(\epsilon,\delta)$-DP，当 $\sigma^2 \geq \frac{2\log(2/\delta')}{\epsilon^2}\Delta^2$ 时机制可实现隐私保障，其中 $\delta'$ 通过混合变量 $V$ 的矩生成函数进行调整。