[论文解读] SPLBoost: An Improved Robust Boosting Algorithm Based on Self-paced Learning

Kaidong Wang, Yao Wang+3 more|arXiv (Cornell University)|Jun 20, 2017

Face and Expression Recognition参考文献 1被引用 6

一句话总结

本文提出SPLBoost，一种将自 paced 学习（SPL）集成到AdaBoost框架中的鲁棒提升算法，以提高对噪声数据和异常值的抵抗能力。通过根据样本的难易程度动态调整权重，SPLBoost降低了误标样本的影响，相较于AdaBoost、LogitBoost及其他先进方法，在标签污染率高达30%的噪声UCI数据集上表现出更优的鲁棒性。

ABSTRACT

It is known that Boosting can be interpreted as a gradient descent technique to minimize an underlying loss function. Specifically, the underlying loss being minimized by the traditional AdaBoost is the exponential loss, which is proved to be very sensitive to random noise/outliers. Therefore, several Boosting algorithms, e.g., LogitBoost and SavageBoost, have been proposed to improve the robustness of AdaBoost by replacing the exponential loss with some designed robust loss functions. In this work, we present a new way to robustify AdaBoost, i.e., incorporating the robust learning idea of Self-paced Learning (SPL) into Boosting framework. Specifically, we design a new robust Boosting algorithm based on SPL regime, i.e., SPLBoost, which can be easily implemented by slightly modifying off-the-shelf Boosting packages. Extensive experiments and a theoretical characterization are also carried out to illustrate the merits of the proposed SPLBoost.

研究动机与目标

• 解决AdaBoost在训练数据包含异常值或标签噪声时鲁棒性差的问题。
• 克服直接修改损失函数以提升鲁棒性的局限性，后者常导致非凸优化难题。
• 探索一种替代的鲁棒学习范式——自 paced 学习（SPL），以改善噪声条件下提升算法的性能。
• 开发一种实用、可即插即用的提升算法，可轻松集成到现有AdaBoost实现中。
• 在不同标签噪声水平的多样化数据集上，验证SPLBoost的有效性与稳定性。

提出的方法

• 将自 paced 学习（SPL）机制整合进AdaBoost框架，用SPL-based样本加权机制替代标准重加权机制。
• 采用一个潜在的非凸目标函数，隐式建模样本难度，使简单样本在早期训练阶段优先被学习。
• 应用分量最小化（MM）算法求解所得优化问题，确保收敛性与稳定性。
• 引入四种SP正则化项——硬权重、线性软权重、多项式软权重（t=1.3）和多项式软权重（t=4.0），以控制加权调度。
• 通过仅修改样本加权策略，保持与现成AdaBoost包的向后兼容性。
• 使用五折交叉验证程序，为每种算法调优迭代次数及其他超参数。

实验结果

研究问题

• RQ1 自 paced 学习能否有效集成到AdaBoost框架中，以提升对标签噪声的鲁棒性？
• RQ2 在标签噪声水平逐渐增加的情况下，SPLBoost与现有鲁棒提升算法（如LogitBoost、SavageBoost、RBoost）相比，测试误差表现如何？
• RQ3 SP正则化项的选择是否显著影响SPLBoost在不同数据集上的性能？
• RQ4 SPLBoost在多个数据集和噪声水平下是否始终在排序性能上表现更优？
• RQ5 SPLBoost与潜在非凸目标函数上的分量最小化（MM）算法之间存在何种理论关系？

主要发现

• 在0%至30%标签噪声水平下，SPLBoost在全部17个UCI数据集上显著优于AdaBoost，且在20%–30%噪声时性能差距最大。
• 平均而言，SPLBoost在全部85组实验情形（17个数据集×5种噪声水平）中达到最低的测试误差率，优于LogitBoost、SavageBoost、RBoost和RobustBoost。
• 图5中的排名分析显示，SPLBoost在70%的实验情形中位列前n名首位（表现最佳），表明其性能具有一致优势。
• SPLBoost在不同SP正则化项（硬权重、线性、下凸、上凸）下表现稳定，未观察到显著差异，表明其对正则化项选择具有鲁棒性。
• 实验结果证实，即使在30%标签噪声下，SPLBoost仍能保持较低的测试误差，而AdaBoost的误差率急剧上升，充分体现了其对严重污染的抗性。
• 理论分析表明，SPLBoost等价于对一个潜在非凸目标函数应用MM算法，为其鲁棒行为提供了坚实的优化理论基础。