[论文解读] A more robust boosting algorithm

Yoav Freund|ArXiv.org|May 13, 2009

Industrial Vision Systems and Defect Detection参考文献 14被引用 91

一句话总结

本文提出 Robustboost，一种新型提升算法，旨在显著提升对标签噪声的鲁棒性，优于 Adaboost 和 Logitboost。通过使用非凸且动态变化的势函数，该函数会降低大负边距样本的权重，Robustboost 避免了对噪声标签的过拟合，从而在高噪声环境下实现更优的泛化性能。

ABSTRACT

We present a new boosting algorithm, motivated by the large margins theory for boosting. We give experimental evidence that the new algorithm is significantly more robust against label noise than existing boosting algorithm.

研究动机与目标

• 解决 Adaboost 和 Logitboost 对随机标签噪声的已知敏感性问题，其性能会迅速下降。
• 克服凸势函数在提升算法中的理论局限性，Long 和 Servedio 证明此类函数可被对抗性噪声击败。
• 开发一种新型提升算法，即使在训练标签的较大比例被破坏时，仍能保持高准确率。
• 通过聚焦于决策边界附近的样本并降低大负边距样本的权重，改善泛化性能。
• 通过实证结果表明，Robustboost 在标签噪声环境下实现了比现有方法更低的测试误差和更可靠的边距。

提出的方法

• 设计一种基于势函数的提升框架，采用非凸且随时间变化的势函数，该函数在训练过程中自适应调整。
• 基于 Freund 的 Boost-by-Majority 和 Brownboost 构建算法，整合梯度下降在非凸势函数上的原理。
• 引入阈值参数 θ 和噪声容忍参数 ε，以控制大负边距样本的影响。
• 修改权重更新规则，限制大负边距的误标样本的影响，防止其主导学习过程。
• 使用评分函数 s(x) = α·h(x)，并将边距定义为 m(x,y) = y·s(x)，算法聚焦于最小化小到中等边距样本的错误。
• 在收敛时提前终止，通常在高噪声环境下 100–300 次迭代内完成，体现其对标签污染的鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种提升算法，使其对随机标签噪声的鲁棒性显著优于 Adaboost 和 Logitboost？
• RQ2 与凸势函数相比，使用非凸且自适应的势函数是否能提升在标签噪声环境下的泛化性能？
• RQ3 能否有效降低大负边距样本的权重，同时不损害对正确标记数据的性能？
• RQ4 Robustboost 在具有可控标签噪声的合成数据集上，相对于 Logitboost 和 Adaboost 的表现如何？
• RQ5 Robustboost 在标签被破坏的情况下，能在多大程度上保持对大边距样本的高置信预测？

主要发现

• 在 Long/Servedio 的合成数据集上，标签噪声为 10% 时，Robustboost 使用决策桩（stumps）的测试误差为 13.5±0.8，优于 Logitboost（15.9±0.9）和 Adaboost（19.3±1.0）。
• 当标签噪声增加至 20% 时，Robustboost 的测试误差降低至 23.8±1.1（stumps），而 Adaboost 为 29.4±1.2，Logitboost 为 26.7±1.3。
• 在 Mease/Wyner 数据集上，标签噪声为 10% 时，Robustboost 在高边距样本上的纯净误差率为 4.3±0.4，显著低于 Logitboost（7.1±0.7）和 Adaboost（11.5±1.1）。
• Robustboost 正确识别并显著降低了大多数具有大负边距的误标样本的权重，尤其在高噪声条件下表现突出。
• 在高噪声环境下，算法通常在 100–300 次迭代内提前终止，表明其收敛更快且过拟合程度低于标准提升方法。
• 低边距样本比例（|score| < θ）稳定在约 10%，而高边距样本的错误率始终低于基线方法，表明对高置信样本的预测具有可靠性。