[论文解读] A statistical framework for differential privacy

Larry Wasserman, Shuheng Zhou|arXiv (Cornell University)|Nov 16, 2008

Privacy-Preserving Technologies in Data参考文献 33被引用 6

一句话总结

本文提出了一种统计框架，用于通过分析发布数据分布收敛到真实数据分布的速率，评估差分隐私机制。该研究建立了差分隐私准确性与小球概率之间的关键联系，表明指数机制的性能由经验分布围绕真实分布的小球中的集中速率所决定。

ABSTRACT

One goal of statistical privacy research is to construct a data release mechanism that protects individual privacy while preserving information content. An example is a {\em random mechanism} that takes an input database $X$ and outputs a random database $Z$ according to a distribution $Q_n(\cdot|X)$. {\em Differential privacy} is a particular privacy requirement developed by computer scientists in which $Q_n(\cdot |X)$ is required to be insensitive to changes in one data point in $X$. This makes it difficult to infer from $Z$ whether a given individual is in the original database $X$. We consider differential privacy from a statistical perspective. We consider several data release mechanisms that satisfy the differential privacy requirement. We show that it is useful to compare these schemes by computing the rate of convergence of distributions and densities constructed from the released data. We study a general privacy method, called the exponential mechanism, introduced by McSherry and Talwar (2007). We show that the accuracy of this method is intimately linked to the rate at which the probability that the empirical distribution concentrates in a small ball around the true distribution.

研究动机与目标

• 为差分隐私提供一种统计解释，超越计算定义，通过分布收敛性来评估实用性。
• 通过测量从发布数据中获得的经验分布收敛到真实数据分布的速率，评估和比较隐私保护的数据发布机制。
• 形式化指数机制准确性与底层分布小球概率之间的联系。
• 在差分隐私约束下，建立密度和分布估计器收敛速率的理论界。
• 证明隐私机制的收敛速率从根本上与数据分布的正则性相关，特别是通过光滑性参数和小球概率。

提出的方法

• 使用柯尔莫哥洛夫-斯米尔诺夫距离和L2风险，度量从发布数据中获得的经验分布和密度收敛到真实底层分布的速率。
• 应用小球概率理论，分析经验测度在真实分布附近小邻域内的集中性，将其与隐私机制的准确性联系起来。
• 采用指数机制作为通用的隐私保护方法，表明其准确性取决于数据分布的小球概率的集中速率。
• 利用正交展开和协方差矩阵的特征值界，推导在差分隐私下密度和分布估计器的收敛速率。
• 使用截断和投影技术控制估计误差，表明在正则性条件下，截断效应在渐近意义上可忽略不计。
• 建立密度估计风险的理论界，表明收敛速率为 $ n^{-2 heta/(2 heta+1)} $，其中 $ heta $ 为与分布正则性相关的光滑性参数。

实验结果

研究问题

• RQ1 如何利用经验分布的统计收敛速率来评估差分隐私机制的实用性？
• RQ2 指数机制的准确性与底层数据分布的小球概率之间存在何种关系？
• RQ3 数据分布的光滑性如何影响隐私保护估计器的收敛速率？
• RQ4 在差分隐私约束下，密度和分布估计的准确性理论极限是什么？
• RQ5 小球概率能否用于推导不同差分隐私数据发布机制性能的非渐近界？

主要发现

• 从差分隐私数据中获得的经验分布的收敛速率由小球概率决定，集中越快，实用性越好。
• 指数机制的准确性与经验分布围绕真实分布在小球中集中速率密切相关。
• 对于具有Hölder光滑性参数 $ \gamma $ 的分布，密度估计风险以速率 $ O(n^{-2\gamma/(2\gamma+1)}) $ 收敛，该速率在给定光滑性类中为最优。
• 证明表明，当 $ k \geq n $ 时，截断和投影误差对整体风险的贡献可忽略不计，从而保证渐近一致性。
• 估计系数协方差矩阵的最大特征值保持有界，这支持了估计过程的稳定性。
• 本文证明，在给定光滑性假设下，速率 $ n^{-2\gamma/(2\gamma+1)} $ 是差分隐私下密度估计的极小极大最优速率。