[论文解读] A simple and practical algorithm for differentially private data release

Moritz Hardt, Katrina Ligett+1 more|arXiv (Cornell University)|Dec 21, 2010

Privacy-Preserving Technologies in Data参考文献 28被引用 303

一句话总结

本文提出了MWEM，一种简单且实用的差分隐私算法，结合指数机制与乘法权重法，以高精度发布合成数据。该算法在真实数据集上实现了最先进的理论保障，与以往方法相比，准确率最高提升了三个数量级，同时可扩展至包含数千个属性的领域。

ABSTRACT

We present new theoretical results on differentially private data release useful with respect to any target class of counting queries, coupled with experimental results on a variety of real world data sets. Specifically, we study a simple combination of the multiplicative weights approach of [Hardt and Rothblum, 2010] with the exponential mechanism of [McSherry and Talwar, 2007]. The multiplicative weights framework allows us to maintain and improve a distribution approximating a given data set with respect to a set of counting queries. We use the exponential mechanism to select those queries most incorrectly tracked by the current distribution. Combing the two, we quickly approach a distribution that agrees with the data set on the given set of queries up to small error. The resulting algorithm and its analysis is simple, but nevertheless improves upon previous work in terms of both error and running time. We also empirically demonstrate the practicality of our approach on several data sets commonly used in the statistical community for contingency table release.

研究动机与目标

• 开发一种在效用与隐私之间实现良好平衡、并具备强理论保障的差分隐私算法。
• 与现有差分隐私技术相比，提升在真实世界数据集上的准确率，后者通常引入过多噪声。
• 设计一种实现简单、易于使用的方法，无需深入理解查询结构的数学原理。
• 可扩展至高维数据集，支持高达2^1000的域大小，克服以往方法的局限性。
• 实现一致且下游兼容的合成数据生成，以保持统计特性。

提出的方法

• 该算法使用乘法权重更新规则，迭代优化数据域上的近似分布。
• 利用指数机制选择需测量的查询，优先选择与当前近似最不一致的查询。
• 通过拉普拉斯机制对每个查询进行差分隐私响应，确保ε-差分隐私。
• 该方法保持近似分布的因子分解表示，从而在高维数据上实现高效计算。
• 在可能的情况下，算法会动态将属性划分为独立组件，以降低计算复杂度。
• 集成了一种可扩展的并行化乘法权重实现，支持高达1000个属性的数据集。

实验结果

研究问题

• RQ1 一个简单、通用的算法是否能在真实世界数据集上实现优于现有差分隐私方法的准确率？
• RQ2 将指数机制与乘法权重法结合，如何提升查询准确率并减少噪声？
• RQ3 该算法在支持高达2^1000域大小的高维数据上，其可扩展性如何？
• RQ4 近似分布的因子分解表示是否能在不损失准确率的前提下显著降低运行时间？
• RQ5 该算法是否能超越为特定查询类别（如范围查询、列联表和数据立方体）专门设计的算法？

主要发现

• 在固定隐私参数下，MWEM在多个真实世界数据集的范围查询上，准确率相比以往工作最高提升了三个数量级。
• 在列联表发布基准测试中，MWEM在所有测试的统计基准上均优于以往工作。
• 在数据立方体发布任务中，MWEM优于为特定优化目标专门设计的算法，展现出通用优越性。
• 该算法可扩展至域大小高达2^1000的数据集，处理数千个属性，远超以往方法的限制。
• 在Adult数据集的实验中，因子化实现忽略了以p=0.1概率添加的无关属性，同时保持了低运行时间和最大误差。
• 总运行时间主要由对私有数据集的查询评估决定，而因子化MWEM组件对运行时间的贡献可忽略不计。