[论文解读] A Polynomial Time Algorithm for Learning Halfspaces with Tsybakov Noise

Ilias Diakonikolas, Daniel M. Kane+3 more|arXiv (Cornell University)|Oct 4, 2020

Machine Learning and Algorithms参考文献 55被引用 9

一句话总结

本文提出了首个在Tsybakov噪声模型下学习齐次半空间的多项式时间算法，该噪声设定极具挑战性，其标签翻转概率可接近1/2。通过引入一种新型多项式时间证书算法，并利用双赢迭代过程，该方法在诸如对数凹分布等行为良好的分布下实现了高效学习，解决了计算学习理论中长期存在的开放性问题。

ABSTRACT

We study the problem of PAC learning homogeneous halfspaces in the presence of Tsybakov noise. In the Tsybakov noise model, the label of every sample is independently flipped with an adversarially controlled probability that can be arbitrarily close to $1/2$ for a fraction of the samples. {\em We give the first polynomial-time algorithm for this fundamental learning problem.} Our algorithm learns the true halfspace within any desired accuracy $ε$ and succeeds under a broad family of well-behaved distributions including log-concave distributions. Prior to our work, the only previous algorithm for this problem required quasi-polynomial runtime in $1/ε$. Our algorithm employs a recently developed reduction \cite{DKTZ20b} from learning to certifying the non-optimality of a candidate halfspace. This prior work developed a quasi-polynomial time certificate algorithm based on polynomial regression. {\em The main technical contribution of the current paper is the first polynomial-time certificate algorithm.} Starting from a non-trivial warm-start, our algorithm performs a novel "win-win" iterative process which, at each step, either finds a valid certificate or improves the angle between the current halfspace and the true one. Our warm-start algorithm for isotropic log-concave distributions involves a number of analytic tools that may be of broader interest. These include a new efficient method for reweighting the distribution in order to recenter it and a novel characterization of the spectrum of the degree-$2$ Chow parameters.

研究动机与目标

• 开发一种在Tsybakov噪声模型下进行齐次半空间PAC学习的多项式时间算法，该模型允许对部分样本的标签噪声由对抗性控制，最高可达1/2。
• 克服以往在精度参数ε上存在准多项式时间复杂度的局限性，该局限性阻碍了实际部署。
• 通过将学习问题转化为验证候选半空间非最优性的方法，建立学习半空间的新框架。
• 设计一种多项式时间证书算法，即使在重度Tsybakov噪声下也能实现高效收敛。
• 将学习算法的适用范围扩展到更广泛的分布族，包括各向同性对数凹分布和行为良好的分布。

提出的方法

• 该算法采用从学习问题到验证候选半空间非最优性的归约方法，基于先前工作提供的准多项式时间证书算法。
• 引入一种新型多项式时间证书算法，执行双赢迭代过程：要么生成有效证书，要么改善当前权重向量与真实权重向量之间的夹角距离。
• 针对各向同性对数凹分布设计了热启动程序，使用一种新型高效的重加权技术以重新中心分布。
• 利用对二次Chow参数谱的新型表征，实现稳定且高效的优化。
• 采用自适应学习率的随机梯度下降方法，迭代优化权重向量，通过遗憾分析保证收敛。
• 算法集成了一个证书预言机，用于检查当前假设是否远离最优解，若发现有效证书则提前终止。

实验结果

研究问题

• RQ1 能否设计一种在Tsybakov噪声模型下学习半空间的多项式时间算法，使得标签翻转概率可任意接近1/2？
• RQ2 在存在Tsybakov噪声的情况下，是否可能在行为良好的分布（如对数凹分布）下实现高效学习？
• RQ3 学习半空间在Tsybakov噪声下的最小时间复杂度是多少？能否将其从准多项式降低到多项式？
• RQ4 如何高效计算非最优性的证书，以在双赢迭代框架中引导学习过程？
• RQ5 能否利用重加权和Chow参数谱分析等分析工具，设计出在噪声环境下稳定且高效的算法？

主要发现

• 本文提出了首个在Tsybakov噪声模型下学习齐次半空间的多项式时间算法，解决了计算学习理论中长期存在的开放性问题。
• 在任意行为良好的分布（包括对数凹分布）下，该算法以高概率实现最多ε的误差率。
• 运行时间在维度d和1/ε上均为多项式，显著优于以往在1/ε上的准多项式时间复杂度。
• 该方法引入了一种新型多项式时间证书算法，通过生成证书或改善与真实半空间的夹角距离，实现高效收敛。
• 对于对数凹分布，该算法确保夹角误差θ(ŵ, w*)被限制在O(ε / log²(1/ε))以内，由于分布特定的误差界，这转化为0-1误差为O(ε)。
• 分析依赖于对二次Chow参数谱的新型表征，以及一种高效的重加权方法以重新中心分布，二者本身均具有独立研究价值。