[论文解读] Efficient Learning of Linear Separators under Bounded Noise

Pranjal Awasthi, Maria-Florina Balcan+2 more|arXiv (Cornell University)|Mar 12, 2015

Machine Learning and Algorithms参考文献 30被引用 4

一句话总结

该论文提出了首个在单位球上均匀分布下，针对Massart（有界）噪声的线性分类器的多项式时间学习算法，实现了任意小的过剩误差。该算法利用基于边距的主动学习技术，使标签复杂度对所需误差 $\epsilon$ 呈对数依赖，克服了标准方法（如合页损失最小化和平均法）的局限性。

ABSTRACT

We study the learnability of linear separators in $\Re^d$ in the presence of bounded (a.k.a Massart) noise. This is a realistic generalization of the random classification noise model, where the adversary can flip each example $x$ with probability $η(x) \leq η$. We provide the first polynomial time algorithm that can learn linear separators to arbitrarily small excess error in this noise model under the uniform distribution over the unit ball in $\Re^d$, for some constant value of $η$. While widely studied in the statistical learning theory community in the context of getting faster convergence rates, computationally efficient algorithms in this model had remained elusive. Our work provides the first evidence that one can indeed design algorithms achieving arbitrarily small excess error in polynomial time under this realistic noise model and thus opens up a new and exciting line of research. We additionally provide lower bounds showing that popular algorithms such as hinge loss minimization and averaging cannot lead to arbitrarily small excess error under Massart noise, even under the uniform distribution. Our work instead, makes use of a margin based technique developed in the context of active learning. As a result, our algorithm is also an active learning algorithm with label complexity that is only a logarithmic the desired excess error $ε$.

研究动机与目标

• 设计一种计算高效的算法，在Massart噪声这一更真实且广泛研究的噪声模型下，实现任意小的过剩误差。
• 解决在有界噪声下学习线性分类器时计算效率不足的问题，此前的算法或无法实现小的过剩误差，或需要超多项式时间。
• 证明标准方法（如合页损失最小化和平均法）即使在有利分布下，也无法在Massart噪声下实现任意小的过剩误差。
• 建立统计效率（快速收敛速率）与计算效率之间联系的新理论基础，适用于线性分类任务。

提出的方法

• 该算法使用基于边距的主动学习技术，选择性地查询标签，使所需标签数量对所需过剩误差 $\epsilon$ 呈对数依赖。
• 构建一个分布族 $\mathcal{P}_{\alpha,\eta}$，其中贝叶斯最优分类器为线性，且噪声被常数 $\eta$ 有界。
• 通过构造一个分布，证明合页损失最小化在该噪声模型下不一致：即最优向量 $w^*$ 并非合页损失的期望最小化器。
• 引入基于角度扇形区域 $A$、$B$ 和 $D$ 的几何构造，分析噪声对合页损失的影响，表明 $B$ 区域的噪声会不成比例地增加 $w^*$ 的损失。
• 该算法避免使用标准优化技术，转而依赖主动采样与边距最大化，对非均匀噪声率具有鲁棒性。
• 理论分析表明，所提算法在 $d$ 和 $1/\epsilon$ 的多项式时间内运行，且在单位球上的均匀分布下可实现 $\mathrm{OPT} + \epsilon$ 的误差。

实验结果

研究问题

• RQ1 是否存在一种多项式时间算法，可在Massart噪声下实现线性分类器的任意小过剩误差？该噪声模型比随机分类噪声更真实。
• RQ2 为何标准计算高效的算法（如合页损失最小化和平均法）在Massart噪声下无法实现任意小的过剩误差？
• RQ3 是否存在一种计算高效的主动学习算法，在Massart噪声下实现 $\epsilon$ 的对数标签复杂度？
• RQ4 Massart噪声下的理论统计优势（如快速收敛速率）能否被计算高效的算法所匹配？
• RQ5 噪声分布的何种结构特性，使得在线性分类中可同时实现统计效率与计算效率？

主要发现

• 所提算法在单位球上的均匀分布下，以 $d$ 和 $1/\epsilon$ 的多项式时间运行，实现 $\mathrm{OPT} + \epsilon$ 的过剩误差，且有界噪声 $\eta \leq \eta_0$（$\eta_0$ 为常数）。
• 该算法的标签复杂度为 $O(\log(1/\epsilon))$，在标签数据使用上极为高效。
• 合页损失最小化在Massart噪声下不一致：对任意 $\eta_0 > 0$ 和合页参数 $\tau_0$，均存在一个分布，使得该方法无法收敛至贝叶斯最优分类器。
• 平均法在Massart噪声下也无法实现任意小的过剩误差，因其无法克服非均匀噪声分布带来的偏差。
• 本文构建了一个分布族 $\tilde{D}_{\alpha,\eta}$，其中噪声被有策略地放置在区域 $A$ 和 $B$，表明由于噪声影响的非对称性，$w^*$ 的合页损失高于次优的 $w$。
• 理论结果确认，Massart噪声可实现更快的统计收敛速率，而本工作是首个在该模型下同时实现统计与计算效率的算法。