[论文解读] PAC learning with stable and private predictions

Yuval Dagan, Vitaly Feldman|arXiv (Cornell University)|Nov 24, 2019

Privacy-Preserving Technologies in Data参考文献 35被引用 6

一句话总结

本文提出了用于PAC学习中具有统一稳定性和差分隐私预测的新算法，将样本复杂度的开销降低至标准平均方法以下。对于统一稳定性，其紧致界为$\widetilde{O}(d/(α\gamma) + d/\alpha^2)$；对于差分隐私，其紧致界为$\widetilde{O}(d/(α^2\varepsilon) + d^2/(α\varepsilon) + d/\alpha^2)$，显著优于先前工作。

ABSTRACT

We study binary classification algorithms for which the prediction on any point is not too sensitive to individual examples in the dataset. Specifically, we consider the notions of uniform stability (Bousquet and Elisseeff, 2001) and prediction privacy (Dwork and Feldman, 2018). Previous work on these notions shows how they can be achieved in the standard PAC model via simple aggregation of models trained on disjoint subsets of data. Unfortunately, this approach leads to a significant overhead in terms of sample complexity. Here we demonstrate several general approaches to stable and private prediction that either eliminate or significantly reduce the overhead. Specifically, we demonstrate that for any class $C$ of VC dimension $d$ there exists a $γ$-uniformly stable algorithm for learning $C$ with excess error $α$ using $ ilde O(d/(αγ) + d/α^2)$ samples. We also show that this bound is nearly tight. For $ε$-differentially private prediction we give two new algorithms: one using $ ilde O(d/(α^2ε))$ samples and another one using $ ilde O(d^2/(αε) + d/α^2)$ samples. The best previously known bounds for these problems are $O(d/(α^2γ))$ and $O(d/(α^3ε))$, respectively.

研究动机与目标

• 解决标准平均方法在实现PAC学习中统一稳定性和预测隐私时带来的高样本复杂度开销问题。
• 开发通用技术，避免朴素平均方法中因数据重复使用$k$次而产生的惩罚，同时确保预测的稳定性和隐私性。
• 在泛化设定下，建立统一稳定与差分隐私PAC学习的紧致样本复杂度界。
• 研究稳定性和隐私在学习中的计算与统计权衡，特别是与经验风险最小化方法的比较。
• 识别在差分隐私预测的上下界之间差距尚未闭合的问题，以及设计高效可计算算法的开放问题。

提出的方法

• 提出一种通用框架，通过高级采样与聚合技术（超越简单平均）构建稳定且私有的预测算法。
• 利用指数机制在保持较低多余误差的同时确保差分隐私，但计算成本较高。
• 通过测度变换论证与三角不等式，采用反证法推导样本复杂度的下界，假设存在数据不足的稳定算法。
• 利用[BNS15]中的技术，将可实现设定下的结果通过归约扩展至泛化设定。
• 通过翻转标签分析预测对单个数据点的敏感性，并利用稳定性参数有界预测的期望变化。
• 在大小为$d$的定义域上引入随机标签分配方案，构造出能暴露稳定算法局限性的困难分布。

实验结果

研究问题

• RQ1 我们能否设计出避免标准平均方法中$k$倍样本开销的PAC学习算法，以实现统一稳定性或预测隐私？
• RQ2 在$\gamma$-统一稳定设定下，泛化PAC学习的最优样本复杂度是多少？是否可在不过度增加数据使用量的前提下实现？
• RQ3 在泛化PAC模型中，$\varepsilon$-差分隐私预测的最紧致样本复杂度是多少？
• RQ4 与标准经验风险最小化相比，私有/稳定学习的计算成本如何？
• RQ5 在长尾数据分布下，稳定与私有算法在多大程度上是次优的？

主要发现

• 对于任意VC维为$d$的概念类，存在一个$\gamma$-统一稳定的PAC学习算法，其多余误差为$\alpha$，样本复杂度为$\widetilde{O}(d/(α\gamma) + d/\alpha^2)$，且该界近乎紧致。
• 本文建立了$\gamma$-统一稳定学习的样本复杂度下界为$\Omega((d-1)/(8\gamma\alpha))$，证实了上界在对数因子范围内的最优性。
• 对于$\varepsilon$-差分隐私预测，本文提出两种算法：一种样本复杂度为$\widetilde{O}(d/(α^2\varepsilon))$，另一种为$\widetilde{O}(d^2/(α\varepsilon) + d/\alpha^2)$，优于先前最优界$O(d/(α^3\varepsilon))$。
• 差分隐私预测的上界为$\widetilde{O}(\min\{d/(α^2\varepsilon), d^2/(α\varepsilon)\} + d/\alpha^2)$，相比以往工作，显著降低了对$\alpha$和$\varepsilon$的依赖。
• 作者表明，指数机制可用于实现隐私保护，但其计算成本高于标准经验风险最小化。
• 目前差分隐私预测的最佳已知上界与下界之间仍存在差距，其中下界为$\widetilde{\Omega}(d/(ε\alpha) + d/\alpha^2)$，上界为$\widetilde{O}(d/(α^2\varepsilon) + d^2/(α\varepsilon) + d/\alpha^2)$，提示未来研究中仍存在开放问题。