[论文解读] Compressive Mechanism: Utilizing Sparse Representation in Differential Privacy

Yang D. Li, Zhenjie Zhang+2 more|arXiv (Cornell University)|Jul 18, 2011

Privacy-Preserving Technologies in Data参考文献 44被引用 54

一句话总结

本文提出了一种新型的压缩机制，这是一种基于压缩感知的差分隐私框架，可降低统计查询结果中的噪声。通过将噪声注入压缩的摘要样本而非原始数据，将噪声从 O(√n) 降低至 O(log n)，在保持强差分隐私保证的同时显著提升了查询的实用性。

ABSTRACT

Differential privacy provides the first theoretical foundation with provable privacy guarantee against adversaries with arbitrary prior knowledge. The main idea to achieve differential privacy is to inject random noise into statistical query results. Besides correctness, the most important goal in the design of a differentially private mechanism is to reduce the effect of random noise, ensuring that the noisy results can still be useful. This paper proposes the \emph{compressive mechanism}, a novel solution on the basis of state-of-the-art compression technique, called \emph{compressive sensing}. Compressive sensing is a decent theoretical tool for compact synopsis construction, using random projections. In this paper, we show that the amount of noise is significantly reduced from $O(\sqrt{n})$ to $O(\log(n))$, when the noise insertion procedure is carried on the synopsis samples instead of the original database. As an extension, we also apply the proposed compressive mechanism to solve the problem of continual release of statistical results. Extensive experiments using real datasets justify our accuracy claims.

研究动机与目标

• 降低差分隐私机制中引入的噪声，以减轻对查询准确性的损害。
• 通过利用数据表示中的稀疏性，提升差分隐私统计查询的实用性。
• 将原本用于信号重建的压缩感知技术应用于差分隐私，实现高效且准确的数据发布。
• 将该机制扩展至支持随时间持续发布统计结果。
• 通过真实世界数据集的实证验证，评估该机制在准确性和效率方面的表现。

提出的方法

• 压缩机制使用随机投影生成原始数据库的紧凑摘要，利用数据中的稀疏性。
• 噪声并非注入原始数据，而是注入压缩后的摘要，从而降低整体噪声幅度。
• 该方法依赖限制等距性（RIP）以确保能从含噪摘要中稳定恢复原始查询结果。
• 它采用稀疏表示和压缩感知重建算法（例如基追踪）从含噪压缩样本中恢复准确的查询结果。
• 对于持续发布，该机制维护一个动态摘要，并仅对演化的压缩表示注入噪声。
• 通过敏感性分析校准噪声尺度，确保满足 (ε, δ)-差分隐私。

实验结果

研究问题

• RQ1 压缩感知能否用于降低差分隐私查询结果中的噪声，同时保持隐私？
• RQ2 在压缩摘要样本上注入噪声是否比在原始数据上注入噪声具有更高的准确性？
• RQ3 压缩机制能否在强隐私保证下支持统计结果的持续发布？
• RQ4 压缩机制中的噪声缩放与经典机制（如拉普拉斯或高斯机制）相比如何？
• RQ5 数据的稀疏性在多大程度上影响压缩机制的性能？

主要发现

• 压缩机制将噪声从 O(√n) 降低至 O(log n)，显著提升了大规模数据集的查询准确性。
• 在真实数据集上的实验表明，压缩机制在查询准确性方面优于传统差分隐私机制。
• 该机制在实现更高实用性的同时，仍保持 (ε, δ)-差分隐私，这是由于压缩域中噪声方差降低所致。
• 稀疏表示的使用使得即使在噪声注入量有限的情况下，也能实现统计查询的准确重建。
• 该机制在高维数据上表现出良好的可扩展性，并支持高效持续发布结果。
• 实证结果证实，理论上的噪声降低在实践中也成立，尤其当数据本身具有内在稀疏性时更为显著。