[论文解读] Efficient Algorithms for Privately Releasing Marginals via Convex Relaxations

Cynthia Dwork, Aleksandar Nikolov+1 more|arXiv (Cornell University)|Aug 6, 2013

Privacy-Preserving Technologies in Data参考文献 24被引用 6

一句话总结

该论文提出了一种基于凸松弛和Frank-Wolfe算法的多项式时间算法，用于实现k元边际查询的差分隐私发布，平均误差为Õ(√n ⋅ d^{⌈k/2⌉/4})，该结果在k=2时达到已知最优的信息论上界，且当n较小时优于以往的高效方法。该方法利用几何技术与Grothendieck不等式设计了一种摘要生成器，实现了高效、准确的私有查询发布，误差量级接近最优。

ABSTRACT

Consider a database of $n$ people, each represented by a bit-string of length $d$ corresponding to the setting of $d$ binary attributes. A $k$-way marginal query is specified by a subset $S$ of $k$ attributes, and a $|S|$-dimensional binary vector $β$ specifying their values. The result for this query is a count of the number of people in the database whose attribute vector restricted to $S$ agrees with $β$. Privately releasing approximate answers to a set of $k$-way marginal queries is one of the most important and well-motivated problems in differential privacy. Information theoretically, the error complexity of marginal queries is well-understood: the per-query additive error is known to be at least $Ω(\min\{\sqrt{n},d^{\frac{k}{2}}\})$ and at most $ ilde{O}(\min\{\sqrt{n} d^{1/4},d^{\frac{k}{2}}\})$. However, no polynomial time algorithm with error complexity as low as the information theoretic upper bound is known for small $n$. In this work we present a polynomial time algorithm that, for any distribution on marginal queries, achieves average error at most $ ilde{O}(\sqrt{n} d^{\frac{\lceil k/2 ceil}{4}})$. This error bound is as good as the best known information theoretic upper bounds for $k=2$. This bound is an improvement over previous work on efficiently releasing marginals when $k$ is small and when error $o(n)$ is desirable. Using private boosting we are also able to give nearly matching worst-case error bounds. Our algorithms are based on the geometric techniques of Nikolov, Talwar, and Zhang. The main new ingredients are convex relaxations and careful use of the Frank-Wolfe algorithm for constrained convex minimization. To design our relaxations, we rely on the Grothendieck inequality from functional analysis.

研究动机与目标

• 设计一种计算高效的机制，用于在差分隐私下发布k元边际查询，误差接近信息论下界。
• 克服以往方法在小n时运行时间呈指数增长的问题，以实现低误差。
• 开发一种摘要生成器，支持私有提升，将平均误差保证转化为最坏情况误差界。
• 在n小至Õ(d^{⌈k/2⌉/2} ⋅ α^{-2})时，实现每查询误差为αn，优于以往的高效算法。
• 利用凸松弛和Grothendieck不等式，设计适用于私有数据发布的可计算优化框架。

提出的方法

• 该算法使用函数分析中的Grothendieck不等式，对边际查询发布问题进行凸松弛化。
• 应用Frank-Wolfe算法求解约束凸最小化问题，以高效求解松弛后的优化问题。
• 构建一个基础摘要生成器，生成紧凑且差分私密的数据库表示，误差较低。
• 应用私有提升，将平均误差保证转化为所有查询的最坏情况误差界。
• 该方法确保输出数据库与噪声查询结果一致，同时保持隐私性。
• 运行时间为n和d^k的多项式时间，适用于中等规模的d和k。

实验结果

研究问题

• RQ1 我们能否设计一种差分隐私机制，用于k元边际查询发布，其误差接近信息论下界，且运行时间在n和d^k上为多项式时间？
• RQ2 凸松弛和几何技术是否可用于小n时，在多项式时间内实现接近最优的误差？
• RQ3 能否构建一种高效的摘要生成器，支持私有提升以实现最坏情况误差保证？
• RQ4 Grothendieck不等式是否能有效用于设计私有查询发布问题的可计算松弛？
• RQ5 所提方法是否在n = Õ(d^{⌈k/2⌉/2} ⋅ α^{-2})时实现误差αn，优于以往的高效算法？

主要发现

• 该算法对任意k元边际查询分布的平均误差为Õ(√n ⋅ d^{⌈k/2⌉/4})，在k=2时与已知最优信息论上界一致。
• 对于最坏情况误差，该机制以高概率实现O(√n ⋅ d^{⌈k/2⌉/4} ⋅ (k log d + log 1/δ)^{1/2} ⋅ (log n)^{1/4} ⋅ (k log d)^{3/4} / ε^{1/2})。
• 运行时间为n和d^k的多项式时间，是首个在小n时实现误差在信息论下界多项式对数因子内的高效算法。
• 当n相对于d为次指数且期望误差为αn（α < 1）时，该方法优于以往的高效算法。
• 利用凸松弛和Grothendieck不等式显著降低了优化复杂度，同时保持了隐私性和准确性。
• 该机制支持私有提升，可实现从平均误差到最坏情况误差保证的转换，且开销极小。