[论文解读] Leveraging Public Data for Practical Private Query Release

Terrance Liu, Giuseppe Vietri+3 more|arXiv (Cornell University)|Feb 17, 2021

Privacy-Preserving Technologies in Data参考文献 26被引用 13

一句话总结

本文提出 PMW Pub，一种新颖的差分隐私查询发布方法，通过利用来自相关分布的公开数据集作为先验知识，以提升准确性和可扩展性。通过将公开数据整合进隐私机制，PMW Pub 在高维数据集（如 ACS 和 ADULT）上实现了最先进性能，显著优于现有方法，同时在大规模场景下仍保持计算可行性。

ABSTRACT

In many statistical problems, incorporating priors can significantly improve performance. However, the use of prior knowledge in differentially private query release has remained underexplored, despite such priors commonly being available in the form of public datasets, such as previous US Census releases. With the goal of releasing statistics about a private dataset, we present PMW^Pub, which -- unlike existing baselines -- leverages public data drawn from a related distribution as prior information. We provide a theoretical analysis and an empirical evaluation on the American Community Survey (ACS) and ADULT datasets, which shows that our method outperforms state-of-the-art methods. Furthermore, PMW^Pub scales well to high-dimensional data domains, where running many existing methods would be computationally infeasible.

研究动机与目标

• 解决差分隐私查询发布中对先验知识利用不足的问题，特别是以公开数据集的形式。
• 通过整合来自相关分布的公开数据，提升私有查询发布的准确性。
• 开发一种可扩展的方法，使其在现有方法因计算不可行而失效的高维数据领域仍具实用性。
• 为在私有统计分析中利用公开数据提供理论基础与实证验证。

提出的方法

• PMW Pub 在差分隐私查询发布流程中，将来自相关分布的公开数据作为先验信息进行整合。
• 该方法修改隐私机制，使其基于公开数据进行条件化，从而降低对私有统计量估计的不确定性。
• 其采用一种差分隐私机制，将公开数据与私有数据结合，以生成高精度的查询结果。
• 该方法采用基于公开数据校准的噪声添加策略，在保持隐私的同时提升实用性。
• 通过降低查询空间的有效维度，该框架被设计为能高效扩展至高维数据领域。
• 理论分析支持其隐私保障，而实证评估则验证了性能的提升。

实验结果

研究问题

• RQ1 能否有效利用来自相关分布的公开数据集，以提升差分隐私查询发布的准确性？
• RQ2 将公开数据作为先验知识引入，如何影响私有查询发布在实用性与隐私保障方面？
• RQ3 所提出的方法是否能扩展至现有方法因计算限制而失效的高维数据领域？
• RQ4 在真实世界数据集上，PMW Pub 相较于最先进私有查询发布方法的相对性能如何？

主要发现

• 在美国社区调查（ACS）和 ADULT 数据集上，PMW Pub 在查询准确性方面优于最先进方法。
• 通过有效利用公开数据作为先验信息，该方法在实用性方面实现了显著提升。
• PMW Pub 在高维数据领域表现出良好的可扩展性，保持了计算可行性，而其他方法则变得难以处理。
• 理论分析证实，该方法满足差分隐私要求，并具备强隐私保障。
• 实证结果表明，来自相关分布的公开数据显著降低了私有查询发布中的估计误差。