[论文解读] Efficient, Noise-Tolerant, and Private Learning via Boosting

Mark Bun, Marco Carmosino+1 more|arXiv (Cornell University)|Feb 4, 2020

Privacy-Preserving Technologies in Data参考文献 19被引用 4

一句话总结

该论文提出了一种模块化框架，用于构建差分私密、抗噪声且高效的提升算法，将弱学习器转化为大间隔半空间的强学习器。通过利用带有隐私保护机制的平滑提升——特别是懒惰Bregman投影和高斯噪声——其主要结果实现了与维度无关的样本复杂度，且隐私和准确率界限在抗噪声能力和置信度方面均表现出色。

ABSTRACT

We introduce a simple framework for designing private boosting algorithms. We give natural conditions under which these algorithms are differentially private, efficient, and noise-tolerant PAC learners. To demonstrate our framework, we use it to construct noise-tolerant and private PAC learners for large-margin halfspaces whose sample complexity does not depend on the dimension. We give two sample complexity bounds for our large-margin halfspace learner. One bound is based only on differential privacy, and uses this guarantee as an asset for ensuring generalization. This first bound illustrates a general methodology for obtaining PAC learners from privacy, which may be of independent interest. The second bound uses standard techniques from the theory of large-margin classification (the fat-shattering dimension) to match the best known sample complexity for differentially private learning of large-margin halfspaces, while additionally tolerating random label noise.

研究动机与目标

• 设计一种通用、模块化的私密提升框架，简化先前的构造方法，同时保持隐私性和抗噪声能力。
• 实现高效、差分私密的PAC学习，用于大间隔半空间，样本复杂度与输入维度无关。
• 通过结合隐私保证与通过fat-shattering维数实现的泛化能力，实现对随机分类噪声的抗性。
• 通过一种新的仅隐私的样本复杂度界限，证明差分隐私可被用作泛化工具，而不仅限于隐私保护。
• 通过基于懒惰Bregman投影和测度生成的清晰理论框架，统一平滑提升、差分隐私与抗噪声能力。

提出的方法

• 提出一种通用的提升范式，通过使用懒惰Bregman投影维护训练样本上的平滑分布，确保隐私性和抗噪声能力。
• 使用一种私密弱学习器（带有高斯噪声），即使在标签噪声下也能保持相对于随机猜测的恒定优势。
• 应用一种私密提升算法，通过加权多数投票组合弱假设，通过zCDP（零集中差分隐私）和紧密组合界限保持隐私。
• 提出一种新颖的仅隐私的样本复杂度界限，将隐私视为泛化能力的促进因素，独立于标准学习理论。
• 利用fat-shattering维数来限制泛化误差，确保在随机噪声下测试误差仍较低且概率较高。
• 使用Chernoff不等式和集中不等式控制因样本污染和噪声引起的效用损失导致的失败概率。

实验结果

研究问题

• RQ1 能否设计一个统一框架，同时实现在提升中的差分隐私、抗噪声能力和效率？
• RQ2 差分隐私除了用于保护数据外，如何还能增强学习算法的泛化能力？
• RQ3 在随机分类噪声下，不同私密学习大间隔半空间的最优样本复杂度是多少？
• RQ4 能否使用如高斯噪声和Bregman投影等隐私保护机制，来在提升中保持平滑性和鲁棒性？
• RQ5 在私密学习中，隐私、平滑性和fat-shattering维数之间的相互作用如何影响最终的泛化误差？

主要发现

• 所提出的HS-StL算法实现了$(\rho, \tau)$-margin半空间学习，样本复杂度为$n = O\left(\frac{\sqrt{\log(1/\kappa)\log(1/\delta)\log(\log(1/\kappa)/\beta\tau)}}{\epsilon\kappa\tau^{2}}\right)$，且与输入维度无关。
• 仅隐私的样本复杂度界限表明，差分隐私本身即可确保泛化，其界限为$O\left(\frac{\sqrt{\log(1/\kappa)\log(1/\delta)\log(\log(1/\kappa)/\beta\tau^{2})}}{\epsilon\alpha\tau^{2}}\right)$。
• 该算法在$O(\alpha\tau)$的噪声率下具有抗性，以高概率实现测试误差$\leq \alpha$。
• 在$T = \frac{1024\log(1/\kappa)}{\tau^{2}}$轮迭代后，最终假设在未被污染的样本中，除$\kappa$比例外，所有样本的边距均达到$\gamma = \tau/8$。
• 该框架通过$\rho_T$-zCDP和紧密组合实现$(\epsilon,\delta)$-差分隐私，其中$\rho_T = O\left(\frac{\log(1/\kappa)}{(\kappa n\sigma\tau)^2}\right)$。
• 由污染样本、噪声引起的效用损失或泛化失败导致的失败概率均被控制在$\beta/3$以内，确保整体成功概率为$1 - \beta$。