[论文解读] Efficient Batch Query Answering Under Differential Privacy

Chao Li, Gerome Miklau|arXiv (Cornell University)|Mar 7, 2011

Privacy-Preserving Technologies in Data参考文献 12被引用 6

一句话总结

本文提出一种高效算法 LSA（低秩策略近似），用于在差分隐私的矩阵机制中计算近似最优策略查询，显著降低了批量查询回答的误差。通过利用工作负载的谱特性，并借助奇异值分解近似最优策略，LSA 实现的误差仅为理论最优值的 1.26 倍——相较于以往方法（如小波变换）在高维情况下表现出高达 10 倍的性能提升。

ABSTRACT

Differential privacy is a rigorous privacy condition achieved by randomizing query answers. This paper develops efficient algorithms for answering multiple queries under differential privacy with low error. We pursue this goal by advancing a recent approach called the matrix mechanism, which generalizes standard differentially private mechanisms. This new mechanism works by first answering a different set of queries (a strategy) and then inferring the answers to the desired workload of queries. Although a few strategies are known to work well on specific workloads, finding the strategy which minimizes error on an arbitrary workload is intractable. We prove a new lower bound on the optimal error of this mechanism, and we propose an efficient algorithm that approaches this bound for a wide range of workloads.

研究动机与目标

• 为任意工作负载的差分隐私批量查询回答中的误差最小化问题提供解决方案。
• 通过设计一种可计算的近似算法，克服矩阵机制中最优策略计算的不可行性。
• 通过适配工作负载的特定结构，改进现有策略（如小波和分层树）的性能。
• 通过工作负载分离与泛化技术，实现在大规模、高维工作负载上矩阵机制的高效部署。
• 证明 $(\epsilon,\delta)$-差分隐私在策略设计中可实现优于 $\epsilon$-差分隐私的性能表现。

提出的方法

• 提出 LSA 算法，通过工作负载矩阵的截断奇异值分解（SVD）来近似矩阵机制的最优策略矩阵。
• 利用谱分析识别工作负载中可被用于最小化差分隐私下期望误差的低秩分量。
• 应用工作负载分离技术，将大规模、高维工作负载分解为更小的子工作负载，从而实现可扩展的策略计算。
• 通过减少域大小的采样方式引入工作负载泛化，使在大域上实现高效策略计算成为可能，同时保持准确性。
• 采用线性回归从受扰动的策略查询结果中推断最终工作负载答案，通过冗余利用实现一致性与误差降低。
• 利用最优误差由工作负载矩阵奇异值平方和所界定的特性，作为策略质量的基准。

实验结果

研究问题

• RQ1 我们能否设计一种高效算法，为任意给定工作负载计算出接近理论最优误差边界的矩阵机制策略？
• RQ2 LSA 算法在不同工作负载类型与维度下，与小波和分层树等现有策略相比，性能表现如何？
• RQ3 工作负载分离与泛化技术在多大程度上可降低计算成本，而不会显著降低误差性能？
• RQ4 $(\epsilon,\delta)$-差分隐私是否在误差与效率方面，优于 $\epsilon$-差分隐私，从而实现更优的策略设计？
• RQ5 工作负载的谱结构在多大程度上影响差分隐私查询回答中的可实现误差？

主要发现

• LSA 算法实现的策略误差仅为理论最优边界的 1.26 倍，显著优于小波（4.17 倍）与分层树（1.78 倍）策略，尤其在高维工作负载中表现突出。
• 在 $\textsc{AllRange}(16,8,8)$ 工作负载下，LSA 将误差降低至最优边界的 1.07 倍，而小波策略为 4.17 倍，实现 3.9 倍的性能提升。
• 在高平均覆盖度的随机范围查询工作负载中，LSA 的误差相比小波策略降低了一个数量级以上。
• 工作负载分离将 LSA 在 $32 \times 32$ 域上的运行时间从 5079 秒减少至 2.44 秒，且误差损失可忽略不计。
• 工作负载泛化在 1024 大小的域上将计算成本降低 18 倍，同时保持接近最优的误差性能。
• 理论分析证实，矩阵机制下的最优误差由工作负载矩阵奇异值平方和所界定，为策略质量提供了基准。