[论文解读] Hardness of Learning Halfspaces with Massart Noise.

Ilias Diakonikolas, Daniel M. Kane|arXiv (Cornell University)|Dec 17, 2020

Machine Learning and Algorithms参考文献 57被引用 13

一句话总结

本文建立了在Massart噪声下学习半空间时，信息论最优误差与多项式时间统计查询（SQ）算法所能达到的最佳误差之间的指数级差距。它证明了没有任何高效的SQ算法能将最优误差近似到任何多项式因子之内，从而解决了计算学习理论中的一个长期悬而未决的问题。

ABSTRACT

We study the complexity of PAC learning halfspaces in the presence of Massart (bounded) noise. Specifically, given labeled examples $(x, y)$ from a distribution $D$ on $\mathbb{R}^{n} imes \{ \pm 1\}$ such that the marginal distribution on $x$ is arbitrary and the labels are generated by an unknown halfspace corrupted with Massart noise at rate $\eta<1/2$, we want to compute a hypothesis with small misclassification error. Characterizing the efficient learnability of halfspaces in the Massart model has remained a longstanding open problem in learning theory. Recent work gave a polynomial-time learning algorithm for this problem with error $\eta+\epsilon$. This error upper bound can be far from the information-theoretically optimal bound of $\mathrm{OPT}+\epsilon$. More recent work showed that {\em exact learning}, i.e., achieving error $\mathrm{OPT}+\epsilon$, is hard in the Statistical Query (SQ) model. In this work, we show that there is an exponential gap between the information-theoretically optimal error and the best error that can be achieved by a polynomial-time SQ algorithm. In particular, our lower bound implies that no efficient SQ algorithm can approximate the optimal error within any polynomial factor.

研究动机与目标

• 解决在Massart噪声下PAC学习半空间的复杂性，这是学习理论中的一个长期悬而未决的问题。
• 确定在存在有界噪声的情况下，高效算法是否能够实现接近信息论最优边界的误差。
• 为该学习问题中多项式时间SQ算法的性能建立紧致下界。
• 表明在SQ模型中，高效算法所能达到的最佳误差比最优误差差指数级。

提出的方法

• 作者分析了统计查询（SQ）模型在学习带有Massart噪声的半空间时的局限性。
• 他们构建了一个实例的困难分布族，以证明任何SQ算法必须进行指数级多的查询才能实现次优误差。
• 该证明依赖于一种新颖的复杂性理论论证，将噪声率与SQ算法的查询复杂度联系起来。
• 他们通过从一个困难学习问题到半空间学习任务的归约，表明若能高效解决后者，则也能高效解决前者。
• 该分析涉及对目标半空间与任何可通过SQ查询学习到的假设之间的相关性进行界控。
• 关键技术组件是构造了一个带标签样本的分布，其中最优假设误差很低，但没有任何高效的SQ算法能将其找到。

实验结果

研究问题

• RQ1 多项式时间SQ算法能否在Massart噪声下学习半空间时，实现接近信息论最优误差的误差？
• RQ2 是否存在一种固有的计算障碍，使得高效算法无法在多项式因子内近似最优误差？
• RQ3 在Massart噪声模型中，任何高效SQ算法所能达到的最佳误差界限是什么？
• RQ4 若存在一个误差为η+ε的多项式时间算法，是否意味着更好的误差界限在计算上是可行的？

主要发现

• 在Massart噪声模型中，没有任何多项式时间SQ算法能达到比最优误差指数级更差的误差。
• 信息论最优误差与SQ算法所能达到的最佳误差之间的差距是指数级的。
• 这意味着在SQ模型下，即使将最优误差近似到任何多项式因子内也是计算上不可行的。
• 该结果通过证明在SQ模型中精确学习（达到OPT+ε）是不可能的，从而解决了长期悬而未决的问题。
• 即使噪声率η远离1/2，该下界依然成立，表明存在一种根本性的计算障碍，阻碍高效学习。