[论文解读] Efficient, Differentially Private Point Estimators

Adam Smith|ArXiv.org|Sep 27, 2008

Privacy-Preserving Technologies in Data参考文献 26被引用 63

一句话总结

本文提出了一种用于参数模型的差分隐私点估计器，通过结合分块最大似然估计与拉普拉斯噪声注入，实现了渐近效率和无偏性。关键结果表明，随着样本量增加，该估计器的均方误差收敛至Cramér-Rao下界，证明差分隐私可实现渐近可忽略的统计精度损失。

ABSTRACT

Differential privacy is a recent notion of privacy for statistical databases that provides rigorous, meaningful confidentiality guarantees, even in the presence of an attacker with access to arbitrary side information. We show that for a large class of parametric probability models, one can construct a differentially private estimator whose distribution converges to that of the maximum likelihood estimator. In particular, it is efficient and asymptotically unbiased. This result provides (further) compelling evidence that rigorous notions of privacy in statistical databases can be consistent with statistically valid inference.

研究动机与目标

• 开发一种差分隐私估计器，使其在参数模型中保持统计效率与渐近无偏性。
• 证明随着样本量增大，差分隐私可对估计精度产生可忽略的影响。
• 弥合严格隐私保证与敏感数据分析中统计有效推断之间的差距。
• 提供一种实用方法，用于构建收敛于最大似然估计器分布的差分隐私估计器。

提出的方法

• 该方法将数据集划分为k个互不重叠的块，每块大小为t = n/k。
• 对每个块，计算最大似然估计（MLE），得到k个估计值z₁, ..., zₖ。
• 将块估计值平均，形成z̄ = (1/k)∑zᵢ，该值是真实参数θ的一致估计器。
• 向平均值z̄添加尺度为Λ/(kε)的拉普拉斯噪声，以确保ε-差分隐私，其中Λ为参数空间的直径。
• 最终估计器T* = z̄ + Lap(Λ/(kε))通过块平均估计的敏感性分析，被证明为ε-差分隐私。
• k的选择通过优化为k = ⌈n³ᐟ⁵Λ²ᐟ⁵/ε²ᐟ⁵⌉，以平衡偏差、方差与噪声贡献，确保渐近效率。

实验结果

研究问题

• RQ1 是否可以构建差分隐私估计器，使其渐近分布收敛于最大似然估计？
• RQ2 在参数估计中，差分隐私（由ε控制）与统计效率之间的权衡是什么？
• RQ3 能否使隐私所需的扰动在估计误差方面渐近可忽略？
• RQ4 在何种k与ε条件下，差分隐私估计器仍保持渐近无偏与高效？

主要发现

• 所提出的估计器T*对任意k的选择均为ε-差分隐私，通过有界块平均MLE的敏感性得到证明。
• 当ε = ω(n⁻¹ᐟ⁶)且k选择为⌈n³ᐟ⁵Λ²ᐟ⁵/ε²ᐟ⁵⌉时，估计器实现渐近效率，其均方误差为(1+o(1))/(nI(θ))。
• 估计器的偏差为O((k/n)³ᐟ²)，只要k = o(n²ᐟ³)，偏差即趋于零，确保渐近无偏性。
• 估计器的方差为(1+o(1))/(nI(θ)) + O(nΛ²/(k²ε²))，当k = ω(√n/ε)时，噪声贡献可忽略。
• 随着n → ∞，估计器的相对误差趋于1，证实该估计器在给定条件下为渐近高效。
• 结果为差分隐私与统计有效推断相容提供了有力证据，即使在最坏情况的侧信息下亦成立。