[论文解读] Boosting the Accuracy of Differentially-Private Histograms Through Consistency

Michael Hay, Vibhor Rastogi+2 more|arXiv (Cornell University)|Apr 6, 2009

Privacy-Preserving Technologies in Data参考文献 14被引用 6

一句话总结

本文提出一种后处理技术，通过在噪声查询输出上施加一致性约束，提升差分隐私直方图的准确性。通过设计包含层次关系或结构关系（例如求和约束）的查询，并利用约束推理计算最可能的一致估计值，该方法在原始噪声尺度较高的情况下，仍显著降低误差，优于标准的差分隐私查询机制。

ABSTRACT

We show that it is possible to significantly improve the accuracy of a general class of histogram queries while satisfying differential privacy. Our approach carefully chooses a set of queries to evaluate, and then exploits consistency constraints that should hold over the noisy output. In a post-processing phase, we compute the consistent input most likely to have produced the noisy output. The final output is differentially-private and consistent, but in addition, it is often much more accurate. We show, both theoretically and experimentally, that these techniques can be used for estimating the degree sequence of a graph very precisely, and for computing a histogram that can support arbitrary range queries accurately.

研究动机与目标

• 提升差分隐私直方图查询的准确性，超越标准的噪声添加机制。
• 解决多个查询独立回答时产生的不一致性问题，例如总计与分项小计之间的冲突计数。
• 开发一种后处理方法，通过施加已知的结构约束（例如求和关系）生成更准确且一致的估计值。
• 证明即使原始噪声尺度较大，约束推理仍可产生比朴素噪声估计更优的结果。
• 为直方图工作负载（特别是层次结构和度序列查询）提供高效、闭式解的约束推理方法。

提出的方法

• 设计一组查询，使其真实答案满足已知的一致性约束（例如：总数 = 各部分之和）。
• 使用标准的差分隐私机制返回该查询集的噪声答案，以保证差分隐私。
• 应用约束推理，寻找与噪声输出最接近的一致估计值，同时最小化距离并满足所有约束。
• 对于层次直方图，使用树状结构查询集（例如 H），通过高层的噪声观测检测稀疏区域。
• 针对特定直方图类型（如度序列、层次范围）利用约束推理的闭式解，以确保效率。
• 通过后处理校正不一致的噪声估计，而不会违反隐私，因为该变换是确定性的，且不依赖于数据。

实验结果

研究问题

• RQ1 在差分隐私噪声查询输出上施加一致性约束，是否能提升准确性？
• RQ2 与最小查询集相比，使用包含结构约束（如层次结构或基于求和）的更丰富查询集，是否能降低误差？
• RQ3 即使原始噪声尺度较大，约束推理是否仍能优于朴素噪声估计？
• RQ4 在稀疏数据场景下，约束推理的准确性与现有隐私直方图方法相比如何？
• RQ5 能否为常见直方图工作负载（如度序列和范围查询）推导出约束推理的闭式解？

主要发现

• 即使噪声尺度较高，约束推理方法生成的估计值也显著优于原始噪声输出。
• 在稀疏直方图中，层次查询策略（H）的误差低于叶节点级策略（L），尽管噪声尺度增加了 log n。
• 该方法可显著降低大规模图度序列的估计误差，从而实现对网络结构的精确分析。
• 约束推理步骤在不损害差分隐私的前提下提升了准确性，因为其为后处理变换。
• 与 Blum 等人的合成数据发布方法相比，该方法表现更优，尤其在数据库规模增大时，因其误差增长稳定。
• 通过利用层次查询结构和一致性强制机制，该技术可实现对任意范围查询的准确支持。