[论文解读] Low-Rank Mechanism: Optimizing Batch Queries under Differential Privacy

Ganzhao Yuan, Zhenjie Zhang+4 more|arXiv (Cornell University)|Aug 1, 2012

Privacy-Preserving Technologies in Data参考文献 27被引用 10

一句话总结

本文提出低秩机制（LRM），一种新颖的差分隐私查询处理技术，通过利用工作量矩阵的低秩近似，优化批量线性计数查询。LRM 通过相关性感知的查询处理最小化噪声，在差分隐私下批量查询工作量的误差理论上接近下限，其准确度显著优于现有最先进方法——通常高出一个数量级以上。

ABSTRACT

Differential privacy is a promising privacy-preserving paradigm for statistical query processing over sensitive data. It works by injecting random noise into each query result, such that it is provably hard for the adversary to infer the presence or absence of any individual record from the published noisy results. The main objective in differentially private query processing is to maximize the accuracy of the query results, while satisfying the privacy guarantees. Previous work, notably the matrix mechanism, has suggested that processing a batch of correlated queries as a whole can potentially achieve considerable accuracy gains, compared to answering them individually. However, as we point out in this paper, the matrix mechanism is mainly of theoretical interest; in particular, several inherent problems in its design limit its accuracy in practice, which almost never exceeds that of naive methods. In fact, we are not aware of any existing solution that can effectively optimize a query batch under differential privacy. Motivated by this, we propose the Low-Rank Mechanism (LRM), the first practical differentially private technique for answering batch queries with high accuracy, based on a low rank approximation of the workload matrix. We prove that the accuracy provided by LRM is close to the theoretical lower bound for any mechanism to answer a batch of queries under differential privacy. Extensive experiments using real data demonstrate that LRM consistently outperforms state-of-the-art query processing solutions under differential privacy, by large margins.

研究动机与目标

• 为解决差分隐私下批量查询优化缺乏实用且高准确度方法的问题。
• 克服现有机制（如矩阵机制）虽具理论潜力但实际准确度较差的局限性。
• 开发一种能有效利用查询间相关性以最小化噪声注入、同时保持强隐私保障的方法。
• 提供一种实用且可扩展的解决方案，使批量查询处理在 ǫ-差分隐私下的误差接近理论下限。

提出的方法

• LRM 使用矩阵分解将工作量矩阵建模为低秩近似，将其分解为两个较小的矩阵 W = CA。
• 它对低秩分量（C 和 A）应用拉普拉斯机制，而非整个查询集，从而降低总体噪声方差。
• 该方法基于低秩分量的敏感度计算最优噪声方差，以最小化总期望平方误差。
• 它使用凸优化技术计算最优低秩近似，以最小化给定工作量的期望误差。
• 该方法通过低秩结构限制查询工作量的全局敏感度，从而确保 ǫ-差分隐私。
• LRM 设计高效且可扩展，适用于大规模数据域和大量查询的真实工作负载。

实验结果

研究问题

• RQ1 能否设计一种实用的差分隐私机制，使其在批量线性查询上的准确度显著优于现有方法？
• RQ2 在工作量矩阵中利用低秩结构在差分隐私下在多大程度上可减少噪声并提高准确度？
• RQ3 与最先进机制相比，LRM 在查询集大小、数据域大小和工作量秩变化时的性能如何扩展？
• RQ4 LRM 的误差是否趋近于任何处理批量查询的差分隐私机制的理论误差下限？
• RQ5 工作量矩阵的低秩特性在多大程度上影响了 LRM 实现的误差降低？

主要发现

• 在大规模工作负载上，LRM 在平均平方误差方面始终优于拉普拉斯机制、矩阵机制和工作量最优机制，优势超过两个数量级。
• 在 WRelated 工作负载上，该工作负载天然具有低秩结构，当数据域大小增至 8192 时，LRM 的性能提升超过两个数量级。
• 当查询数 m 相对于数据域大小 n 较小时，LRM 在 WRange 和 WRelated 工作负载上显著优于其他方法，得益于对相关性的有效利用。
• 随着工作量矩阵秩的增加，LRM 的误差迅速上升，证实其优势直接依赖于查询工作量的低秩特性。
• LRM 的性能与工作量矩阵的秩呈线性扩展关系，验证了其误差最小化策略的理论基础。
• 在所有测试的真实数据集（搜索日志、NetTrace、社交网络）中，LRM 在所有配置和隐私预算下均实现了最低的平均平方误差。