[论文解读] Convergence Rates for Differentially Private Statistical Estimation

Kamalika Chaudhuri, Daniel Hsu|arXiv (Cornell University)|Jun 27, 2012

Privacy-Preserving Technologies in Data参考文献 10被引用 26

一句话总结

本文建立了微差私密统计估计量的收敛速率界限，表明该速率取决于估计量的总体误差敏感度（GES）。研究证明，任何微差私密估计量都必须承受随 GES 增大而增长的收敛速率，并为具有有界范围和有界 GES 的估计量提供了上界，从而在微差私密性与稳健统计之间建立了正式联系。

ABSTRACT

Differential privacy is a cryptographically-motivated definition of privacy which has gained significant attention over the past few years. Differentially private solutions enforce privacy by adding random noise to a function computed over the data, and the challenge in designing such algorithms is to control the added noise in order to optimize the privacy-accuracy-sample size tradeoff. This work studies differentially-private statistical estimation, and shows upper and lower bounds on the convergence rates of differentially private approximations to statistical estimators. Our results reveal a formal connection between differential privacy and the notion of Gross Error Sensitivity (GES) in robust statistics, by showing that the convergence rate of any differentially private approximation to an estimator that is accurate over a large class of distributions has to grow with the GES of the estimator. We then provide an upper bound on the convergence rate of a differentially private approximation to an estimator with bounded range and bounded GES. We show that the bounded range condition is necessary if we wish to ensure a strict form of differential privacy.

研究动机与目标

• 理解微差私密统计估计中准确性的基本限制。
• 分析微差私密估计量中隐私、准确性和样本大小之间的权衡。
• 为微差私密统计估计量的近似值建立理论收敛速率。
• 通过总体误差敏感度（GES）正式建立微差私密性与稳健统计之间的联系。

提出的方法

• 作者利用统计估计理论的技术，推导出微差私密估计量收敛速率的上下界。
• 他们提出了微差私密性与总体误差敏感度（GES）之间的正式联系，表明 GES 决定了可达到的最小收敛速率。
• 分析聚焦于具有有界范围和有界 GES 的估计量，以确保严格的微差私密性。
• 该方法涉及表征为实现微差私密性同时保持估计准确性所需添加的噪声。
• 通过构造一个特定的微差私密估计量，推导出上界，该估计量可实现所述收敛速率。
• 通过证明任何微差私密估计量都无法实现快于由基础估计量 GES 所决定的速率，建立了下界。

实验结果

研究问题

• RQ1 在微差私密统计估计中，隐私与估计准确性的基本权衡是什么？
• RQ2 估计量的总体误差敏感度（GES）如何影响其在微差私密性下的收敛速率？
• RQ3 微差私密估计量能否实现与原始估计量 GES 无关的收敛速率？
• RQ4 为确保严格形式的微差私密性，估计量需要满足哪些条件（例如，有界范围、有界 GES）？
• RQ5 是否存在对微差私密估计量最优收敛速率的紧密表征？

主要发现

• 任何微差私密估计量的收敛速率都必须随基础估计量的总体误差敏感度（GES）而增长。
• 建立了收敛速率的下界，表明其至少以与估计量 GES 相同的速度增长。
• 为具有有界范围和有界 GES 的估计量提供了收敛速率的上界，表明此类估计量可实现有限且可控的速率。
• 证明了有界范围条件是确保严格形式微差私密性的必要条件。
• 本文通过 GES 概念，正式建立了微差私密性与稳健统计之间的理论联系。
• 结果表明，即使在样本量很大的情况下，高 GES 的估计量在微差私密性下也固有地导致更高的误差。