[论文解读] Learning Halfspaces with Tsybakov Noise

Ilias Diakonikolas, Vasilis Kontonis+2 more|arXiv (Cornell University)|Jun 11, 2020

Machine Learning and Algorithms被引用 7

一句话总结

该论文提出了首个在Tsybakov噪声模型下针对半空间的高效PAC学习算法，实现了误差ε的$\tilde{O}(d^{O(1/\mathrm{poly}(\alpha))})$运行时间，采用了一种基于半定规划的新型认证程序和在线凸优化。该工作在结构化分布（包括log-concave测度）下建立了准多项式时间可学习性，显著优于先前的双重指数界。

ABSTRACT

We study the efficient PAC learnability of halfspaces in the presence of Tsybakov noise. In the Tsybakov noise model, each label is independently flipped with some probability which is controlled by an adversary. This noise model significantly generalizes the Massart noise model, by allowing the flipping probabilities to be arbitrarily close to $1/2$ for a fraction of the samples. Our main result is the first non-trivial PAC learning algorithm for this problem under a broad family of structured distributions -- satisfying certain concentration and (anti-)anti-concentration properties -- including log-concave distributions. Specifically, we given an algorithm that achieves misclassification error $ε$ with respect to the true halfspace, with quasi-polynomial runtime dependence in $1/\epsilin$. The only previous upper bound for this problem -- even for the special case of log-concave distributions -- was doubly exponential in $1/ε$ (and follows via the naive reduction to agnostic learning). Our approach relies on a novel computationally efficient procedure to certify whether a candidate solution is near-optimal, based on semi-definite programming. We use this certificate procedure as a black-box and turn it into an efficient learning algorithm by searching over the space of halfspaces via online convex optimization.

研究动机与目标

• 为长期悬而未决的Tsybakov噪声模型下半空间的计算高效PAC学习问题提供解决方案，该模型通过允许接近1/2的高噪声率，推广了Massart噪声。
• 开发一种具有可证明运行时间依赖关系的学习算法，其性能显著优于先前在$1/\epsilon$上的双重指数界。
• 在包括log-concave和等分布在内的广泛结构化分布类下建立可学习性，满足浓度和反浓度性质。
• 设计一种计算高效的认证程序，用于验证候选半空间的近似最优性，从而支持通过在线凸优化进行搜索。

提出的方法

• 提出一种新颖的基于半定规划（SDP）的认证程序，用于判断候选权重向量相对于真实半空间是否近似最优。
• 将SDP认证作为黑箱预言机，集成到在线凸优化框架中，以在半空间空间中进行搜索。
• 利用从认证输出导出的代理损失函数$\hat{\ell}_t(\mathbf{w})$来引导优化过程。
• 通过精心设计的参数调度和样本复杂度分析，确保收敛到误差为$\epsilon$的假设。
• 依赖于底层分布的浓度和反浓度性质，将误差界表示为角度距离$\theta(\mathbf{w}^{(t)}, \mathbf{w}^*)$的函数。
• 通过对$T$步使用联合界和尾部概率界，确保损失函数经验估计的高概率正确性。

实验结果

研究问题

• RQ1 在允许噪声率任意接近1/2的Tsybakov噪声模型下，是否可以高效地PAC学习半空间？
• RQ2 是否能够在此问题上实现运行时间对$1/\epsilon$的亚双重指数依赖，超越对鲁棒学习的朴素归约？
• RQ3 能否设计一种计算高效的认证程序，以在Tsybakov噪声存在下验证候选解的近似最优性？
• RQ4 所提出的算法是否对log-concave测度等结构化分布实现了$1/\epsilon$的准多项式运行时间依赖？

主要发现

• 该论文在Tsybakov噪声下学习半空间时，实现了$1/\epsilon$的准多项式运行时间依赖$\tilde{O}(d^{O(1/\alpha^2)})$，相比先前的双重指数界有显著改进。
• 该算法是首个在包括log-concave和等分布在内的广泛结构化分布类下，为此问题提供非平凡运行时间保证的算法。
• 关键技术贡献是一种新颖的基于SDP的认证程序，使得候选解的近似最优性能够被高效验证。
• 该方法以高概率使用$d^{O(k)}\log(1/\delta)$个样本实现误差$\epsilon$，其中$k = \Theta(1/\alpha^2 \log(1/\epsilon))$，从而实现准多项式样本复杂度。
• 对于$(L,R,U,B,\beta)$-有界分布，该算法实现了$\mathrm{err}_{0-1} \leq \epsilon$，样本复杂度为$d^{O(1/\alpha^2)}\log(1/\delta)$，优于先前的界。
• 分析表明，结合SDP认证的在线凸优化框架可实现有界常数遗憾，确保收敛到与真实权重向量角度距离在$\epsilon$以内的假设。