[论文解读] Faster Private Release of Marginals on Small Databases

Karthekeyan Chandrasekaran, Justin Thaler+2 more|arXiv (Cornell University)|Apr 13, 2013

Privacy-Preserving Technologies in Data参考文献 21被引用 6

一句话总结

本文提出了一种用于在小型数据库上回答 k 路边际查询的差分隐私在线算法，其时间复杂度为次指数级。通过使用有界 L1-范数的低次多项式近似低权重输入上的 OR 函数，该方法在 n ≳ d^0.51 时实现了每查询 ±0.01 以内的误差，运行时间为 exp(o(d))，这是首个针对大小为 poly(d,k) 的数据库实现此类效率的算法。

ABSTRACT

We study the problem of answering \emph{$k$-way marginal} queries on a database $D \in (\{0,1\}^d)^n$, while preserving differential privacy. The answer to a $k$-way marginal query is the fraction of the database's records $x \in \{0,1\}^d$ with a given value in each of a given set of up to $k$ columns. Marginal queries enable a rich class of statistical analyses on a dataset, and designing efficient algorithms for privately answering marginal queries has been identified as an important open problem in private data analysis. For any $k$, we give a differentially private online algorithm that runs in time $$ \min{\exp(d^{1-Ω(1/\sqrt{k})}), \exp(d / \log^{.99} d)\} $$ per query and answers any (possibly superpolynomially long and adaptively chosen) sequence of $k$-way marginal queries up to error at most $\pm .01$ on every query, provided $n \gtrsim d^{.51} $. To the best of our knowledge, this is the first algorithm capable of privately answering marginal queries with a non-trivial worst-case accuracy guarantee on a database of size $\poly(d, k)$ in time $\exp(o(d))$. Our algorithms are a variant of the private multiplicative weights algorithm (Hardt and Rothblum, FOCS '10), but using a different low-weight representation of the database. We derive our low-weight representation using approximations to the OR function by low-degree polynomials with coefficients of bounded $L_1$-norm. We also prove a strong limitation on our approach that is of independent approximation-theoretic interest. Specifically, we show that for any $k = o(\log d)$, any polynomial with coefficients of $L_1$-norm $poly(d)$ that pointwise approximates the $d$-variate OR function on all inputs of Hamming weight at most $k$ must have degree $d^{1-O(1/\sqrt{k})}$.

研究动机与目标

• 设计一种高效差分隐私算法，用于回答大小为 poly(d,k) 的数据库中的 k 路边际查询。
• 克服先前算法的局限性，即要求 |D| ≳ |Q|^{1/2} 或运行时间为 2^d。
• 通过构建 OR 函数在低汉明权重输入上的低次、低 L1-范数多项式近似，实现对小型数据库的私有分析。
• 建立对 d 元 OR 函数在汉明权重至多为 k 的输入上进行近似的多项式的次数和 L1-范数的紧致界。
• 证明所提出的方法在保持最坏情况误差保证的同时，运行时间优于现有的私有乘法权重方法。

提出的方法

• 该算法在基于低次多项式与有界 L1-范数系数的数据库新近似多项式表示上应用私有乘法权重。
• 它构造了一个多项式，用于在汉明权重 ≤ k 的输入上近似 d 元 OR 函数，其次数为 d^{1−Ω(1/√k)}，L1-范数为 d^{0.01}。
• 该构造利用了 OR 函数的嵌套 OR 分解，并使用切比雪夫多项式来近似外层 OR 函数，实现有界次数与系数权重。
• 通过将私有乘法权重框架应用于多项式表示，该方法确保了差分隐私，该表示作为数据库的压缩、差分隐私摘要。
• 它建立了多项式次数与 L1-范数之间的权衡，表明任何具有 poly(d) L1-范数的此类近似，当 k=o(log d) 时，必须具有 d^{1−O(1/√k)} 的次数。
• 当多项式近似变得不够精确时，该算法会平滑退化为标准的私有乘法权重方法，从而确保向后兼容性，并在小 d 情况下仍可能带来实际性能提升。

实验结果

研究问题

• RQ1 我们能否在时间 exp(o(d)) 内，对大小为 poly(d,k) 的数据库实现 k 路边际查询的私有回答？
• RQ2 在汉明权重至多为 k 的输入上，近似 d 元 OR 函数的多项式的最小次数和 L1-范数是多少？
• RQ3 此类近似多项式的次数与 L1-范数之间是否存在根本性的权衡？若存在，其形式如何？
• RQ4 能否通过使用低权重、低次数的数据库多项式表示来加速私有乘法权重框架？
• RQ5 使用多项式近似是否能实现在小型数据库上具有次指数时间复杂度的私有查询回答？

主要发现

• 该算法每查询的运行时间为 poly(n, exp(d^{1−Ω(1/√k)}))，在 n ≳ d^0.51 的条件下，可对任意 poly(n) 个 k 路边际查询序列实现最多 ±0.01 的误差。
• 该方法在低权重输入上构造了 d 元 OR 函数的多项式近似，其次数为 d^{1−Ω(1/√k)}，L1-范数为 d^{0.01}，显著提升了效率。
• 匹配的下界表明，当 k=o(log d) 时，任何具有 poly(d) L1-范数的近似，必须具有 d^{1−O(1/√k)} 的次数，证明该方法在渐近意义上是紧致的。
• 该算法在大小为 poly(d,k) 的数据库上实现了 exp(o(d)) 的运行时间，这是首个具有非平凡最坏情况准确度保证的此类结果。
• 该方法可推广至其他特征空间，但在 L1-权重约束下，低次单项式被证明为最优，表明该方法在设计上近乎最优。
• 该框架与 Nikolov 等人 [NTZ13] 的基于投影的私有查询发布方法兼容，可通过具有 2^{o(d)} 个顶点的多面体实现高效投影。