[论文解读] Improved Algorithms for Efficient Active Learning Halfspaces with Massart and Tsybakov noise

Chicheng Zhang, Yinan Li|arXiv (Cornell University)|Feb 10, 2021

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种计算高效的半空间主动学习算法，可容忍Massart噪声和Tsybakov噪声，在结构化的未标记数据分布下实现了接近最优的标签复杂度。该工作首次实现了在Massart噪声下标签复杂度匹配信息论下限的高效主动学习算法，并在Tsybakov噪声下显著优于被动学习。

ABSTRACT

We give a computationally-efficient PAC active learning algorithm for $d$-dimensional homogeneous halfspaces that can tolerate Massart noise (Massart and N\\'ed\\'elec, 2006) and Tsybakov noise (Tsybakov, 2004). Specialized to the $\\eta$-Massart noise setting, our algorithm achieves an information-theoretically near-optimal label complexity of $\ ilde{O}\\left( \\frac{d}{(1-2\\eta)^2} \\mathrm{polylog}(\\frac1\\epsilon) \ ight)$ under a wide range of unlabeled data distributions (specifically, the family of "structured distributions" defined in Diakonikolas et al. (2020)). Under the more challenging Tsybakov noise condition, we identify two subfamilies of noise conditions, under which our efficient algorithm provides label complexity guarantees strictly lower than passive learning algorithms.

研究动机与目标

• 设计一种计算高效的半空间主动学习算法，对Massart噪声和Tsybakov噪声具有鲁棒性。
• 在一大类未标记数据分布下，实现接近信息论下限的标签复杂度，适用于Massart噪声条件。
• 证明即使在算法计算高效的情况下，主动学习在Tsybakov噪声下的标签复杂度仍严格优于被动学习。
• 通过移除对未标记数据分布的强假设（如单位球面上的均匀性），扩展先前的工作。

提出的方法

• 该算法采用一种新颖的主动学习策略，基于不确定性采样，在结构化分布族内自适应地查询标签。
• 利用具有良好行为的分布（包括对数凹分布和各向同性分布）的几何与概率性质，以控制误差率和标签复杂度。
• 该方法依赖于集中不等式和角度-距离关系，以在参数空间中保持与真实半空间的接近性。
• 采用改进的优化过程Optimize，并结合鞅集中不等式，以确保高概率收敛。
• 分析中引入了一种新的“良好行为”分布概念，以参数(L, R, U, β)刻画数据与噪声的几何特性。
• 结合尾部概率界限与测度集中性，以控制在噪声标签下的误分类概率。

实验结果

研究问题

• RQ1 我们能否设计一种高效的半空间主动学习算法，在一大类未标记数据分布下，实现接近Massart噪声信息论下限的标签复杂度？
• RQ2 当算法计算高效时，主动学习在Tsybakov噪声下的标签复杂度是否严格优于被动学习？
• RQ3 我们能否移除对单位球面上数据均匀性的强假设，同时在Massart噪声下仍实现最优标签复杂度？
• RQ4 在Tsybakov噪声下，高效主动学习可实现的最紧标签复杂度边界是什么？能否由实际算法达到？

主要发现

• 在η-Massart噪声条件下，所提算法的标签复杂度为Õ(d / (1−2η)² · polylog(1/ε))，与信息论下限仅相差对数因子。
• 该界适用于结构化分布族，包括各向同性对数凹分布，扩展了以往研究中要求球面上均匀性的限制。
• 在(A, α)-Tsybakov噪声条件下，即使噪声比Massart噪声更复杂，该算法的标签复杂度仍严格低于被动学习。
• 该算法计算高效，不依赖于计算困难的优化步骤，优于以往方法。
• 分析建立了针对良好行为分布的新集中不等式，从而更紧密地控制标签查询中的误差。
• 结果表明，即使在具有挑战性的噪声模型下，主动学习仍可兼具高效性与统计最优性。