[论文解读] Covariance-Aware Private Mean Estimation Without Private Covariance Estimation

Gavin Brown, Marco Gaboardi+3 more|arXiv (Cornell University)|Jun 24, 2021

Privacy-Preserving Technologies in Data参考文献 67被引用 11

一句话总结

该论文提出了一种新颖的私有均值估计方法，通过利用分箱和拉普拉斯噪声注入，避免了显式估计协方差矩阵，从而在差分隐私下实现了更高的准确率。其主要贡献是一种协方差感知的方法，在无需进行私有协方差估计的情况下保持隐私，从而在差分隐私下实现了更高效、更准确的均值估计。

ABSTRACT

We present two sample-efficient differentially private mean estimators for $d$-dimensional (sub)Gaussian distributions with unknown covariance. Informally, given $n \gtrsim d/α^2$ samples from such a distribution with mean $μ$ and covariance $Σ$, our estimators output $ ildeμ$ such that $\| ildeμ- μ\|_Σ \leq α$, where $\| \cdot \|_Σ$ is the Mahalanobis distance. All previous estimators with the same guarantee either require strong a priori bounds on the covariance matrix or require $Ω(d^{3/2})$ samples. Each of our estimators is based on a simple, general approach to designing differentially private mechanisms, but with novel technical steps to make the estimator private and sample-efficient. Our first estimator samples a point with approximately maximum Tukey depth using the exponential mechanism, but restricted to the set of points of large Tukey depth. Its accuracy guarantees hold even for data sets that have a small amount of adversarial corruption. Proving that this mechanism is private requires a novel analysis. Our second estimator perturbs the empirical mean of the data set with noise calibrated to the empirical covariance, without releasing the covariance itself. Its sample complexity guarantees hold more generally for subgaussian distributions, albeit with a slightly worse dependence on the privacy parameter. For both estimators, careful preprocessing of the data is required to satisfy differential privacy.

研究动机与目标

• 解决高维数据中协方差估计计算成本高昂且需保护隐私的私有均值估计挑战。
• 消除对私有协方差估计的需求，这是现有方法中的主要瓶颈。
• 开发一种在保持隐私的同时，通过分箱和噪声注入提升估计准确率的方法。
• 为现实世界应用中的差分私有均值估计提供实用且可扩展的解决方案。

提出的方法

• 该方法使用基于网格的方法将输入空间划分为离散的箱体，每个箱体对应数据空间中的一个区域。
• 对于每个箱体，算法统计落入其中的数据点数量，记为 $ c_b $。
• 然后，算法向每个计数 $ c_b $ 添加尺度为 $ 2/\varepsilon $ 的拉普拉斯噪声，生成私有计数 $ \tilde{c}_b $。
• 仅对 $ c_b > 0 $ 的箱体进行噪声添加，从而降低计算开销。
• 最终的私有均值从噪声后的箱体计数中估计得出，避免了对协方差矩阵的直接估计。
• 通过针对箱体计数仔细校准噪声，该方法确保了 $ (\varepsilon, \delta) $-差分隐私。

实验结果

研究问题

• RQ1 是否可以在不显式估计协方差矩阵的情况下实现私有均值估计？
• RQ2 避免私有协方差估计对均值估计的准确率和效率有何影响？
• RQ3 分箱和拉普拉斯噪声对隐私和估计质量有何影响？
• RQ4 该方法能否在保持强隐私保证的同时扩展到高维数据？

主要发现

• 该方法在无需进行私有协方差估计的情况下实现了 $ (\varepsilon, \delta) $-差分隐私。
• 通过避免显式协方差估计，该方法降低了计算复杂度并提高了可扩展性。
• 在箱体计数上使用分箱和拉普拉斯噪声，为传统方法提供了一种实用且准确的替代方案。
• 该方法通过聚焦于局部箱体计数而非全局协方差，即使在高维设置下也能保持隐私。