[论文解读] An Equivalence Between Private Classification and Online Prediction

Mark Bun, Roi Livni+1 more|arXiv (Cornell University)|Mar 1, 2020

Advanced Bandit Algorithms Research参考文献 43被引用 4

一句话总结

该论文通过证明任何具有有限 Littlestone 维数的概念类均可被近似差分隐私算法学习，建立了差分隐私学习与在线学习之间的基本等价性。关键贡献是提出了‘全局稳定性’——一种新颖的稳定性概念，使从在线学习器构造私有学习器成为可能，从而解决了 Alon 等人（2019）和 Neel 等人（2019）提出的一个开放问题。

ABSTRACT

We prove that every concept class with finite Littlestone dimension can be learned by an (approximate) differentially-private algorithm. This answers an open question of Alon et al. (STOC 2019) who proved the converse statement (this question was also asked by Neel et al.~(FOCS 2019)). Together these two results yield an equivalence between online learnability and private PAC learnability. We introduce a new notion of algorithmic stability called "global stability" which is essential to our proof and may be of independent interest. We also discuss an application of our results to boosting the privacy and accuracy parameters of differentially-private learners.

研究动机与目标

• 解决一个开放问题：是否每个具有有限 Littlestone 维数的概念类都是私有 PAC-可学习的。
• 建立在线可学习性与私有 PAC 可学习性之间的正式等价关系。
• 引入并形式化‘全局稳定性’的概念，作为连接在线学习与私有学习的关键技术工具。
• 提供一种将在线学习算法转化为差分隐私学习算法的构造性方法。
• 探讨在差分隐私背景下，私有提升与基于 Oracle 的高效学习的潜在影响。

提出的方法

• 引入‘全局稳定性’作为一种算法稳定性形式，确保在对整个输入数据集进行重采样时仍保持鲁棒性。
• 利用稳定性与差分隐私之间的联系，表明全局稳定算法可通过输出扰动转化为差分隐私算法。
• 采用基于随机算法 G 的私有学习器构造方法，该算法以高概率输出一个在数据分布下误差较低的假设 f。
• 应用定理 10，保证存在一个样本复杂度受 Littlestone 维数的双指数函数有界的私有学习器。
• 应用一个私有组合定理（定理 17），以隐私参数 ε、δ 和精度 α 表示最终的样本复杂度上界。
• 推导出最终的样本复杂度为 O(2^{~O(2^d)} + log(1/βδ))/(αε)，其中 d 为 Littlestone 维数。

实验结果

研究问题

• RQ1 每个具有有限 Littlestone 维数的概念类是否都可以被私有 PAC 学习？
• RQ2 在线可学习性与私有 PAC 可学习性之间是否存在正式等价关系？
• RQ3 全局稳定性能否作为连接在线学习与私有学习的统一框架？
• RQ4 具有有限 Littlestone 维数的概念类的私有学习，其最紧致的样本复杂度是多少？
• RQ5 该私有学习框架能否扩展到 0-1 损失之外的一般损失函数？

主要发现

• 每个具有有限 Littlestone 维数的概念类都是私有 PAC-可学习的，解决了 Alon 等人（2019）和 Neel 等人（2019）提出的开放问题。
• 对于 Littlestone 维数为 d 的类，私有学习的样本复杂度有界于 O(2^{~O(2^d)} / (αε))，其中 α 为精度参数。
• 本文建立了在线可学习性与私有 PAC 可学习性之间的定性等价关系，以有限 Littlestone 维数作为共同表征。
• 引入的‘全局稳定性’为学习理论中的稳定性分析提供了新工具，可能具有独立应用价值。
• 所构造的私有学习器在数据分布下实现常数成功概率，且误差不超过 α/2。
• 结果表明，可通过私有版本的提升框架实现私有学习的提升，但其高效的算法实现仍为开放问题。