[论文解读] Private Query Release Assisted by Public Data

Raef Bassily, Albert Cheu+4 more|arXiv (Cornell University)|Apr 23, 2020

Privacy-Preserving Technologies in Data参考文献 20被引用 12

一句话总结

本文提出了一种新颖的框架，用于利用私有数据和公共数据进行差分隐私查询发布，表明公共数据可显著减少对私有样本的需求。它证明，对于任意 VC-维数为 $d$ 且对偶 VC-维数为 $p$ 的查询类，仅需 $d/\alpha$ 个公共样本和 $\sqrt{p}d^{3/2}/\alpha^2$ 个私有样本即可实现，且紧致的下界证实了私有样本复杂度中 $\sqrt{p}$ 依赖关系的必要性。

ABSTRACT

We study the problem of differentially private query release assisted by access to public data. In this problem, the goal is to answer a large class $\mathcal{H}$ of statistical queries with error no more than $α$ using a combination of public and private samples. The algorithm is required to satisfy differential privacy only with respect to the private samples. We study the limits of this task in terms of the private and public sample complexities. First, we show that we can solve the problem for any query class $\mathcal{H}$ of finite VC-dimension using only $d/α$ public samples and $\sqrt{p}d^{3/2}/α^2$ private samples, where $d$ and $p$ are the VC-dimension and dual VC-dimension of $\mathcal{H}$, respectively. In comparison, with only private samples, this problem cannot be solved even for simple query classes with VC-dimension one, and without any private samples, a larger public sample of size $d/α^2$ is needed. Next, we give sample complexity lower bounds that exhibit tight dependence on $p$ and $α$. For the class of decision stumps, we give a lower bound of $\sqrt{p}/α$ on the private sample complexity whenever the public sample size is less than $1/α^2$. Given our upper bounds, this shows that the dependence on $\sqrt{p}$ is necessary in the private sample complexity. We also give a lower bound of $1/α$ on the public sample complexity for a broad family of query classes, which by our upper bound, is tight in $α$.

研究动机与目标

• 为解决标准差分隐私查询发布方法的局限性，该方法即使在简单查询类下也需大量私有样本。
• 在存在公共数据的宽松模型下，研究私有与公共样本复杂度之间的权衡。
• 在差分隐私查询发布的背景下，建立私有与公共数据样本复杂度的紧致上下界。
• 证明公共数据可在保持强隐私保证的同时，显著降低对私有样本的需求。

提出的方法

• 作者设计了一种 PAP（公共数据辅助私有）查询发布算法，结合公共与私有样本以估计查询均值，误差为 $\alpha$。
• 他们利用查询类 $\mathcal{H}$ 的 VC-维数 $d$ 和对偶 VC-维数 $p$ 推导出样本复杂度边界。
• 该方法通过将私有查询发布归约为私有学习，表明一个 PAP 查询发布算法可隐含一个具有相似样本复杂度的 PAP 学习器。
• 关键技术组件是将通用查询发布算法转换为输出输入域数据集的“正则化器”（proper sanitizer），同时保持准确性和隐私性。
• 分析依赖于先前工作中已知的下界，特别是针对具有无限 Littlestone 维数的类的 PAP 学习。
• 通过算法构造获得上界，并结合信息论论证获得下界，从而建立紧致边界。

实验结果

研究问题

• RQ1 公共数据能否显著减少差分隐私查询发布所需的私有样本数量？
• RQ2 对于 VC-维数有限的查询类，私有与公共样本复杂度之间最优权衡为何？
• RQ3 私有样本复杂度中的 $\sqrt{p}$ 依赖关系是否必要，其中 $p$ 为查询类的对偶 VC-维数？
• RQ4 PAP 查询发布所需的最小公共样本复杂度是多少？该复杂度在 $\alpha$ 上是否紧致？
• RQ5 公共数据的使用能否克服标准差分隐私查询发布在无限查询类上的不可能性结果？

主要发现

• 本文为任意 VC-维数为 $d$ 且对偶 VC-维数为 $p$ 的查询类，建立了公共样本复杂度的上界为 $\tilde{O}(d/\alpha)$，私有样本复杂度的上界为 $\tilde{O}(\sqrt{p}d^{3/2}/\alpha^2)$。
• 对于决策桩（decision stumps）类，当公共样本数量小于 $1/\alpha^2$ 时，证明了私有样本复杂度的下界为 $\Omega(\sqrt{p}/\alpha)$，表明 $\sqrt{p}$ 依赖关系是必要的。
• 对于一大类查询类，建立了公共样本复杂度的下界为 $\Omega(1/\alpha)$，与上界匹配，表明在 $\alpha$ 上的紧致性。
• 结果表明，与标准私有查询发布相比，公共数据可将近乎二次因子减少私有样本复杂度。
• 对于 Littlestone 维数为无穷的查询类（如 $\mathbb{R}$ 上的阈值类），即使无任何私有样本，公共样本复杂度也必须为 $\Omega(1/\alpha)$。
• 该框架表明，公共数据可使原本标准差分隐私查询发布不可能的查询类（即使 VC-维数为 1）实现私有查询发布。