[论文解读] Iterative Constructions and Private Data Release

Anupam Gupta, Aaron Roth+1 more|arXiv (Cornell University)|Jul 19, 2011

Privacy-Preserving Technologies in Data参考文献 12被引用 14

一句话总结

本文提出了一种基于迭代数据库构建（IDC）算法的通用框架，用于实现差分隐私查询发布，在交互式与非交互式设置下均实现了更高的准确性。该框架提出了一种基于Frieze-Kannan低秩矩阵分解的新IDC算法，可实现对密集图上所有切口查询的更优误差界；同时提出一种非交互式合成数据生成方法，误差为O(|V|^{1.5})，并指出私有秩-1矩阵近似是进一步提升性能的关键开放问题。

ABSTRACT

In this paper we study the problem of approximately releasing the <em>cut function</em> of a graph while preserving differential privacy, and give new algorithms (and new analyses of existing algorithms) in both the interactive and non-interactive settings. Our algorithms in the interactive setting are achieved by revisiting the problem of releasing differentially private, approximate answers to a large number of queries on a database. We show that several algorithms for this problem fall into the same basic framework, and are based on the existence of objects which we call <em>iterative database construction</em> algorithms. We give a new generic framework in which new (efficient) IDC algorithms give rise to new (efficient) interactive private query release mechanisms. Our modular analysis simplifies and tightens the analysis of previous algorithms, leading to improved bounds. We then give a new IDC algorithm (and therefore a new private, interactive query release mechanism) based on the Frieze/Kannan low-rank matrix decomposition. This new release mechanism gives an improvement on prior work in a range of parameters where the size of the database is comparable to the size of the data universe (such as releasing all cut queries on dense graphs). We also give a non-interactive algorithm for efficiently releasing private <em>synthetic data</em> for graph cuts with error <em>O</em>(|<em>V</em>|1.5). Our algorithm is based on randomized response and a non-private implementation of the SDP-based, constant-factor approximation algorithm for cut-norm due to Alon and Naor. Finally, we give a reduction based on the IDC framework showing that an efficient, private algorithm for computing sufficiently accurate rank-1 matrix approximations would lead to an improved efficient algorithm for releasing private synthetic data for graph cuts. We leave finding such an algorithm as our main open problem.

研究动机与目标

• 解决在保护差分隐私的前提下，对图的所有切口查询进行私有发布的挑战。
• 设计一个统一框架，推广并改进现有私有查询发布机制，同时提升其准确度界。
• 设计一种高效、非交互式的算法，用于生成近似保持切口函数的私有合成图。
• 将私有秩-1矩阵近似识别为关键开放问题，若能解决，将带来更优的图切口私有合成数据。

提出的方法

• 引入迭代数据库构建（IDC）算法作为私有查询发布统一抽象的概念。
• 基于Frieze-Kannan低秩矩阵分解，开发一种新型IDC算法，以高效近似线性查询。
• 将IDC框架应用于推导交互式与非交互式查询发布机制的改进准确度界。
• 结合随机响应与非私有的SDP-based切口范数近似方法，构建一种误差为O(|V|^{1.5})的非交互式私有合成图。
• 将图切口的私有合成数据生成问题，简化为高效、私有的秩-1矩阵近似算法的存在性问题。
• 采用基于区分器的机制，利用私有预言机访问与拉普拉斯噪声，确保差分隐私。

实验结果

研究问题

• RQ1 是否可以设计一种通用框架，统一并改进现有线性查询私有发布机制的分析？
• RQ2 如何利用低秩矩阵分解设计更准确、差分隐私的图切口查询发布算法？
• RQ3 图切口非交互式私有合成数据生成的最佳可能误差界是什么？
• RQ4 私有秩-1矩阵近似能否带来更优的图切口私有合成数据？
• RQ5 是否可以设计一种高效、私有的区分器，用于切口查询，以提升合成数据生成的准确度？

主要发现

• 所提出的基于Frieze-Kannan的IDC算法，对密集图上所有切口查询的发布，实现了O(|E|^{1/4}|V| / ǫ^{1/2})的误差界，优于先前方法。
• 基于随机响应与Alon-Naor的SDP-based切口范数近似的非交互式机制，实现了O(|V|^{1.5})的误差，用于私有合成图生成。
• 通用IDC框架简化并收紧了先前机制（如中位数法与乘法权重法）的分析，从而获得更优的准确度界。
• 通过乘法权重IDC，实现了图切口的(α, β)-准确私有查询发布机制，其中α = O(ǫ^{-1/2} (Tm log|V| log(1/δ))^{1/4})，T为区分器的误差容限。
• 若存在一种高效的私有秩-1矩阵近似算法，将能生成更优的图切口私有合成数据，表明此为关键开放问题。
• 该框架表明，若能解决对称矩阵的私有秩-1近似问题，将可直接获得更优的图切口私有合成数据。