[论文解读] Distribution-Independent PAC Learning of Halfspaces with Massart Noise

Ilias Diakonikolas, Themis Gouleakis+1 more|arXiv (Cornell University)|Jun 24, 2019

Machine Learning and Algorithms参考文献 39被引用 12

一句话总结

本文提出了首个在Massart噪声下对半空间进行分布无关的PAC学习的多项式时间算法，实现了$\eta + \epsilon$的误分类错误率，时间复杂度为$\mathrm{poly}(d, 1/\epsilon)$。该方法结合了凸优化与一种新颖的鲁棒估计框架，可处理被限制在$\eta < 1/2$以内的对抗性噪声率，解决了计算学习理论中长期存在的开放性问题。

ABSTRACT

We study the problem of {\em distribution-independent} PAC learning of halfspaces in the presence of Massart noise. Specifically, we are given a set of labeled examples $(\mathbf{x}, y)$ drawn from a distribution $\mathcal{D}$ on $\mathbb{R}^{d+1}$ such that the marginal distribution on the unlabeled points $\mathbf{x}$ is arbitrary and the labels $y$ are generated by an unknown halfspace corrupted with Massart noise at noise rate $η&lt;1/2$. The goal is to find a hypothesis $h$ that minimizes the misclassification error $\mathbf{Pr}_{(\mathbf{x}, y) \sim \mathcal{D}} \left[ h(\mathbf{x}) eq y ight]$. We give a $\mathrm{poly}\left(d, 1/ε ight)$ time algorithm for this problem with misclassification error $η+ε$. We also provide evidence that improving on the error guarantee of our algorithm might be computationally hard. Prior to our work, no efficient weak (distribution-independent) learner was known in this model, even for the class of disjunctions. The existence of such an algorithm for halfspaces (or even disjunctions) has been posed as an open question in various works, starting with Sloan (1988), Cohen (1997), and was most recently highlighted in Avrim Blum's FOCS 2003 tutorial.

研究动机与目标

• 解决计算学习理论中长期存在的开放问题：在Massart噪声下，是否能够实现半空间的高效分布无关弱学习。
• 提供一个多项式时间算法，对任意$\eta < 1/2$实现误分类错误率$\eta + \epsilon$，即使输入的边缘分布是任意的。
• 在分布无关的PAC模型下，首次为Massart噪声中半空间的学习建立非平凡的算法保证。
• 提供证据表明，在此设定下，将错误率边界进一步改进至$\eta + \epsilon$可能在计算上是困难的。

提出的方法

• 该算法使用凸代理损失函数$\phi$来正则化学习目标，确保对标签噪声的鲁棒性。
• 采用一种新颖的鲁棒估计技术，通过分析标签样本上代理损失的梯度，识别出误差较低的假设。
• 该方法构建了$\mathbb{R}^d$中点的分布，其边界和噪声受控，从而能够分析最坏情况下的错误行为。
• 利用对通过凸优化训练的线性分类器输出结果的阈值化处理机制，确保最终假设为一个半空间。
• 分析依赖于在非对称噪声下代理函数$\phi$的导数性质，对误分类错误率进行有界控制。
• 证明了在特定条件下，任何基于最小化凸代理函数并进行阈值化的算法，在最坏情况下无法实现优于$\eta + \Omega(\eta)$的错误率。

实验结果

研究问题

• RQ1 能否为在输入分布任意且标签噪声受$\eta < 1/2$限制的Massart噪声下的半空间设计出高效的分布无关弱学习器？
• RQ2 在Massart噪声模型下，是否可能在多项式时间内实现$\mathrm{OPT} + \epsilon$的误分类错误率，其中$\mathrm{OPT} \leq \eta$？
• RQ3 在此设定下，是否存在根本性的计算障碍，使得无法将错误率保证进一步提升至$\eta + \epsilon$以上？
• RQ4 该算法框架能否扩展至正确学习（proper learning），即输出一个误差接近最优半空间的假设？
• RQ5 在Massart模型中，基于凸优化的方法在处理对抗性噪声方面存在哪些局限性？

主要发现

• 本文提出了一种多项式时间算法，对任意$\eta < 1/2$实现了$\eta + \epsilon$的误分类错误率，运行时间为$\mathrm{poly}(d, b, 1/\epsilon)$，其中$b$为样本的位复杂度。
• 该算法具有分布无关性，意味着其适用于输入空间$\mathbb{R}^d$上的任意边缘分布，从而解决了长期存在的开放性问题。
• 作者提供了下界证明，表明任何基于最小化凸代理函数并进行阈值化的算法，在最坏情况下无法实现优于$\eta + \Omega(\eta)$的错误率，暗示了此类方法的内在局限性。
• 该结果解决了Sloan（1988）、Cohen（1997）以及Avrim Blum（2003）提出的关于在Massart噪声下对析取式和半空间进行弱学习的开放问题。
• 基于所构造的下界示例，本文提供了证据表明，将错误率保证提升至$\mathrm{OPT} + \epsilon$可能在计算上是不可行的。
• 该方法不仅适用于半空间，还可推广至更广泛的线性阈值函数类，且该框架可进一步扩展至Massart噪声下的其他概念类。