[论文解读] Simultaneous Private Learning of Multiple Concepts

Mark Bun, Kobbi Nissim+1 more|arXiv (Cornell University)|Nov 27, 2015

Privacy-Preserving Technologies in Data被引用 15

一句话总结

本文研究了在差分隐私下同时学习 k 个概念的样本复杂度，表明即使对于像奇偶性这样的简单概念类，私有化多学习的样本复杂度也会随 k 呈多项式增长。本文建立了在均匀分布下学习 k 个奇偶性的紧致下界 Ω(kd/ε)，表明隐私机制带来了随概念数量增加而增长的根本性代价。

ABSTRACT

We investigate the direct-sum problem in the context of differentially private PAC learning: What is the sample complexity of solving $k$ learning tasks simultaneously under differential privacy, and how does this cost compare to that of solving $k$ learning tasks without privacy? In our setting, an individual example consists of a domain element $x$ labeled by $k$ unknown concepts $(c_1,\ldots,c_k)$. The goal of a multi-learner is to output $k$ hypotheses $(h_1,\ldots,h_k)$ that generalize the input examples. Without concern for privacy, the sample complexity needed to simultaneously learn $k$ concepts is essentially the same as needed for learning a single concept. Under differential privacy, the basic strategy of learning each hypothesis independently yields sample complexity that grows polynomially with $k$. For some concept classes, we give multi-learners that require fewer samples than the basic strategy. Unfortunately, however, we also give lower bounds showing that even for very simple concept classes, the sample cost of private multi-learning must grow polynomially in $k$.

研究动机与目标

• 理解差分隐私 PAC 学习中的直接求和问题：在差分隐私下，同时学习 k 个概念的样本复杂度与单独学习每个概念的样本复杂度相比如何？
• 确定在同时学习多个概念时，隐私约束是否会导致样本复杂度显著增加，特别是与非私有情况相比，后者中复杂度与 k 无关。
• 为在差分隐私下学习 k 个奇偶性建立紧致的样本复杂度下界，表明该代价随 k 和 d（维度）呈多项式增长。
• 研究私有化多学习器是否能比独立学习每个概念更高效，特别是在奇偶性等概念类中。
• 澄清私有化环境中正确学习与非正确学习之间的关系，表明对于奇偶性，正确学习与非正确学习在差分隐私下的效率是相同的。

提出的方法

• 基于概念类的大小使用打包论证，推导出样本复杂度的下界，利用私有学习器必须区分大量可能的概念元组这一事实。
• 通过分析改变单个个体数据（数据库中的一行）对输出分布的影响，应用差分隐私约束，导致成功概率呈指数衰减。
• 使用后处理论证表明，对于奇偶性，任何非正确学习器都可以转换为正确学习器，而不会增加样本复杂度或违反隐私性。
• 分析 {0,1}^d 上的均匀分布以研究 k 个奇偶性的学习，利用非匹配奇偶性函数在均匀分布下的误差恰好为 1/2 的事实。
• 通过假设一个私有学习器在随机概念元组上以至少 1/2 的概率成功，然后对所有可能的概念元组应用隐私约束，推导出下界。
• 使用不等式 Pr[A(D_c) = c'] ≥ (1/2)e^{-εn} 对相邻数据库进行推导，通过考虑所有其他可能的概念元组，得出对 n 的下界。

实验结果

研究问题

• RQ1 在差分隐私多概念学习中，样本复杂度是否随概念数量 k 增加而增长，即使在非私有情况下复杂度与 k 无关？
• RQ2 私有化多学习器是否能比独立学习每个概念更高效，特别是在奇偶性等概念类中？
• RQ3 在差分隐私下，针对均匀分布，学习 k 个奇偶性的样本复杂度的最紧致下界是什么？
• RQ4 对于奇偶性等概念类，正确学习与非正确学习之间是否存在显著差距，且该差距是否影响直接求和问题？
• RQ5 概念类的结构（例如奇偶性）如何影响私有化多学习的样本复杂度，与一般概念类相比？

主要发现

• 在均匀分布下学习 k 个奇偶性时，任何 (α, β=1/2, ε)-PAC k-学习器的样本复杂度为 Ω(kd/ε)，该下界在对数因子内是紧致的。
• 即使目标概念被精确学习，该下界 Ω(kd/ε) 依然成立，表明隐私从根本上增加了多概念学习的成本。
• 私有化多学习的样本复杂度即使在非常简单的概念类（如奇偶性）下也随 k 呈多项式增长，表明隐私带来了非平凡的代价。
• 对于奇偶性，正确学习与非正确学习的样本复杂度相同，因此在证明下界时，可无损失地考虑正确学习器。
• 私有化学习中的直接求和问题并非微不足道：与非私有学习不同，同时学习 k 个概念的成本并不等同于分别学习它们的成本。
• 分析表明，可能的概念元组数量（|PAR_d|^k）与隐私约束共同迫使 n 的下界按 k/ε 规模增长，由于奇偶性的结构，还额外引入了 d 因子。