[论文解读] Closure Properties for Private Classification and Online Prediction

Noga Alon, Amos Beimel+2 more|arXiv (Cornell University)|Mar 10, 2020

Machine Learning and Algorithms参考文献 39被引用 4

一句话总结

该论文通过证明由基础类 $\mathcal{H}$ 通过任意规则 $G$ 聚合函数构成的复合假设类 $\mathcal{H}'$ 的 Littlestone 维度可由 $\mathcal{H}$ 的 Littlestone 维度界定，建立了差分隐私 PAC 学习与在线学习的闭包性质。此外，该论文提出了一种差分隐私算法，可将 $\mathcal{H}$ 的私有学习器转换为 $\mathcal{H}'$ 的私有学习器，实现接近最优的样本复杂度，并改进了对原类复杂度的依赖关系。

ABSTRACT

Let~$\cH$ be a class of boolean functions and consider a {\it composed class} $\cH'$ that is derived from~$\cH$ using some arbitrary aggregation rule (for example, $\cH'$ may be the class of all 3-wise majority-votes of functions in $\cH$). We upper bound the Littlestone dimension of~$\cH'$ in terms of that of~$\cH$. As a corollary, we derive closure properties for online learning and private PAC learning. The derived bounds on the Littlestone dimension exhibit an undesirable exponential dependence. For private learning, we prove close to optimal bounds that circumvents this suboptimal dependency. The improved bounds on the sample complexity of private learning are derived algorithmically via transforming a private learner for the original class $\cH$ to a private learner for the composed class~$\cH'$. Using the same ideas we show that any ({\em proper or improper}) private algorithm that learns a class of functions $\cH$ in the realizable case (i.e., when the examples are labeled by some function in the class) can be transformed to a private algorithm that learns the class $\cH$ in the agnostic case.

研究动机与目标

• 研究通过任意规则 $G$ 聚合 $k$ 个来自基础类 $\mathcal{H}$ 的函数所构成的复合假设类 $\mathcal{H}'$ 的 Littlestone 维度是否可由 $\mathcal{H}$ 的 Littlestone 维度界定。
• 建立差分隐私 PAC 学习的闭包性质，表明若类 $\mathcal{H}$ 是私有可学习的，则其任意 $k$ 个函数经 $G$ 聚合后的类也是私有可学习的。
• 设计一种高效的差分隐私算法，将 $\mathcal{H}$ 的私有学习器转换为 $\mathcal{H}'$ 的私有学习器，样本复杂度接近最优。
• 通过利用在线学习与私有学习的共同组合表征（尤其是 Littlestone 维度），弥合两者之间的差距。

提出的方法

• 提出一种变换算法 $\mathcal{A}_{\rm ClosureLearn}$，通过递归地使用私有经验学习器从 $\mathcal{H}$ 中学习各个组件 $h_i$，构建 $\mathcal{H}'$ 的私有学习器。
• 使用并集界和集中不等式，确保复合假设 $G(h_1,\dots,h_k)$ 的误差以高概率有界。
• 应用 Sauer-Shelah-Perles 引理，以各独立类的 VC 维之和为基准，界定复合类 $G(\mathcal{H}_1,\dots,\mathcal{H}_k)$ 的 VC 维。
• 在每一步使用参数 $\left(\frac{\alpha}{k}, \frac{\beta}{k}\right)$ 的私有经验学习，以确保差分隐私与准确性。
• 采用子采样与私有提升技术，实现 $\varepsilon$-差分隐私并提升准确性，分别使样本复杂度增加 $O(1/\varepsilon)$ 和 $O(1/\alpha)$ 的因子。
• 利用 Littlestone 维度与在线学习及私有学习之间的联系，推导出遗憾与样本复杂度的界。

实验结果

研究问题

• RQ1 能否以基础类 $\mathcal{H}$ 的 Littlestone 维度为基准，界定复合类 $\mathcal{H}' = \{G(h_1,\dots,h_k) \mid h_i \in \mathcal{H}\}$ 的 Littlestone 维度？
• RQ2 若存在 $\mathcal{H}$ 的私有学习器，是否意味着存在一个样本复杂度接近最优的 $\mathcal{H}'$ 的私有学习器？
• RQ3 能否将实可学习情形下的 $\mathcal{H}$ 的私有学习器转换为在泛化情形下对 $\mathcal{H}$ 的私有学习器？
• RQ4 以学习 $\mathcal{H}$ 的样本复杂度为基准，$\mathcal{H}'$ 的私有学习样本复杂度是多少？

主要发现

• 复合类 $\mathcal{H}'$（即 $\mathcal{H}$ 中函数的 $k$ 重聚合类）的 Littlestone 维度可由 $\mathcal{H}$ 的 Littlestone 维度的函数界定，解决了在线学习的闭包性质问题。
• 所提出的算法 $\mathcal{A}_{\rm ClosureLearn}$ 在概率至少 $1 - O(\beta + \delta \sum_{i=1}^k |S_i|)$ 下实现 $O(\alpha)$ 的误差，确保了准确性和差分隐私。
• 算法 $\mathcal{A}_{\rm ClosureLearn}$ 的样本复杂度为 $\tilde{O}\left(\sum_{i=1}^k m_i\left(\frac{\alpha}{k}, \frac{\beta}{k}, 1, \delta\right)\right) \cdot \mathrm{poly}(k, 1/\alpha, \log(1/\beta))$，相较于先前的界，对 $k$ 和 $\alpha$ 的依赖关系得到改进。
• 通过子采样使样本复杂度增加 $O(1/\varepsilon)$ 的因子，该算法实现了 $\varepsilon$-差分隐私，且可通过提升技术达到任意期望的准确度与置信度。
• 该方法通过递归的私有学习方法与仔细的误差传播，规避了标准 Littlestone 维度界中对 $k$ 的指数依赖。
• 结果表明，私有学习在聚合操作下是封闭的：若 $\mathcal{H}$ 是私有可学习的，则即使在泛化情形下，$\mathcal{H}'$ 也是私有可学习的，可通过从实可学习情形的转换实现。