[论文解读] Fingerprinting Codes and the Price of Approximate Differential Privacy

Mark Bun, Jonathan Ullman+1 more|arXiv (Cornell University)|Nov 13, 2013

Privacy-Preserving Technologies in Data参考文献 23被引用 4

一句话总结

本文建立了 $(\varepsilon,\delta)$-差分隐私算法在准确回答大规模计数查询集时所需的样本复杂度的信息论下界。结果表明，近似差分隐私的代价在渐近意义上大于仅满足准确性的需求，证明了下界为 $\tilde{\Omega}\left(\frac{\sqrt{d}\log|\mathcal{Q}|}{\alpha^2\varepsilon}\right)$，该结果在对数因子范围内与目前已知的最佳上界一致。

ABSTRACT

We show new lower bounds on the sample complexity of $(\varepsilon, δ)$-differentially private algorithms that accurately answer large sets of counting queries. A counting query on a database $D \in (\{0,1\}^d)^n$ has the form "What fraction of the individual records in the database satisfy the property $q$?" We show that in order to answer an arbitrary set $\mathcal{Q}$ of $\gg nd$ counting queries on $D$ to within error $\pm α$ it is necessary that $$ n \geq ildeΩ\Bigg(\frac{\sqrt{d} \log |\mathcal{Q}|}{α^2 \varepsilon} \Bigg). $$ This bound is optimal up to poly-logarithmic factors, as demonstrated by the Private Multiplicative Weights algorithm (Hardt and Rothblum, FOCS'10). In particular, our lower bound is the first to show that the sample complexity required for accuracy and $(\varepsilon, δ)$-differential privacy is asymptotically larger than what is required merely for accuracy, which is $O(\log |\mathcal{Q}| / α^2)$. In addition, we show that our lower bound holds for the specific case of $k$-way marginal queries (where $|\mathcal{Q}| = 2^k \binom{d}{k}$) when $α$ is not too small compared to $d$ (e.g. when $α$ is any fixed constant). Our results rely on the existence of short \emph{fingerprinting codes} (Boneh and Shaw, CRYPTO'95, Tardos, STOC'03), which we show are closely connected to the sample complexity of differentially private data release. We also give a new method for combining certain types of sample complexity lower bounds into stronger lower bounds.

研究动机与目标

• 确定 $(\varepsilon,\delta)$-差分隐私算法准确回答大规模计数查询族所需的最小样本复杂度。
• 证明差分隐私的代价在渐近意义上大于仅满足准确性所需样本复杂度。
• 表明指纹码与差分隐私数据发布样本复杂度之间存在根本联系。
• 在近似差分隐私下，为 $k$-路边际查询和一般计数查询族证明紧致下界。

提出的方法

• 将私有查询发布的难题转化为具有特定鲁棒性属性的短指纹码存在的问题。
• 提出一种新颖的组合定理，将不同查询族的下界组合成更强的整体下界。
• 应用弱鲁棒指纹码（特别是Tardos码），并通过概率和集中度论证证明其强鲁棒性。
• 通过从完全鲁棒性到弱鲁棒性的归约，建立样本复杂度的下界。
• 利用马尔可夫不等式以及二项分布和三角积分的尾部界，控制分析中的错误概率。
• 利用指纹码与查询族VC维之间的联系，推导出信息论极限。

实验结果

研究问题

• RQ1 对于 $(\varepsilon,\delta)$-差分隐私算法，准确回答 $|\mathcal{Q}|$ 个计数查询且误差为 $\pm\alpha$ 所需的最小样本量是多少？
• RQ2 差分隐私要求是否在渐近意义上带来了超出准确统计估计所需样本复杂度的代价？
• RQ3 指纹码与差分隐私数据发布样本复杂度之间有何关联？
• RQ4 能否利用查询族的结构特性（如 $k$-路边际）改进或收紧样本复杂度下界？
• RQ5 Private Multiplicative Weights 算法的样本复杂度是否在对数因子范围内达到最优？

主要发现

• $(\varepsilon,\delta)$-差分隐私发布 $|\mathcal{Q}|$ 个计数查询的样本复杂度至少为 $\tilde{\Omega}\left(\frac{\sqrt{d}\log|\mathcal{Q}|}{\alpha^2\varepsilon}\right)$，在多对数因子范围内是紧致的。
• 该下界严格大于无隐私保护时实现准确估计所需的 $O(\log|\mathcal{Q}|/\alpha^2)$ 样本复杂度，从而确立了差分隐私的非平凡代价。
• 对于 $|\mathcal{Q}| = 2^k \binom{d}{k}$ 个 $k$-路边际查询，当 $\alpha$ 为常数时，下界为 $\Omega(\sqrt{d}/\alpha^2\varepsilon)$；当 $\alpha$ 较小时，下界为 $\Omega(k/\varepsilon)$。
• 证明了 Tardos 指纹码具有弱鲁棒性，该性质通过归约至完全鲁棒性被用于推导强下界。
• 分析证明，以高概率，随机生成的 Tardos 码本包含 $\Omega(n^{3/2}\log(n/\xi))$ 个标记列，这对下界构造至关重要。
• 本文证明了 Private Multiplicative Weights 算法在对数因子范围内实现了最优样本复杂度，从而确认了下界的紧致性。