[论文解读] An Online Boosting Algorithm with Theoretical Justifications

Shang-tse Chen, Hsuan-Tien Lin+1 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Bandit Algorithms Research参考文献 26被引用 40

一句话总结

该论文提出了一种新颖的在线提升算法，通过在新的、有充分依据的假设下适应离线SmoothBoost框架，为在线弱学习器提供了强有力的理论保证。该算法结合在线凸规划与专家建议理论，动态确定弱学习器的数量，在真实世界数据集上的表现优于现有在线提升方法。

ABSTRACT

We study the task of online boosting--combining online weak learners into an online strong learner. While batch boosting has a sound theoretical foundation, online boosting deserves more study from the theoretical perspective. In this paper, we carefully compare the differences between online and batch boosting, and propose a novel and reasonable assumption for the online weak learner. Based on the assumption, we design an online boosting algorithm with a strong theoretical guarantee by adapting from the offline SmoothBoost algorithm that matches the assumption closely. We further tackle the task of deciding the number of weak learners using established theoretical results for online convex programming and predicting with expert advice. Experiments on real-world data sets demonstrate that the proposed algorithm compares favorably with existing online boosting algorithms.

研究动机与目标

• 解决在线提升相较于其批处理对应方法缺乏理论基础的问题。
• 识别并形式化在线弱学习器的合理假设，以支持理论分析。
• 通过适应SmoothBoost框架，设计一种具有强理论保证的在线提升算法。
• 解决在在线设置中确定最优弱学习器数量的问题。
• 通过实证验证所提算法相较于现有在线提升方法的性能。

提出的方法

• 作者提出了一项关于在线弱学习器的新假设，确保提升过程中的稳定性和一致性。
• 将离线SmoothBoost算法适应到在线设置中，在新假设下保持其理论特性。
• 该算法使用在线凸规划来随时间优化弱学习器的组合权重。
• 结合专家建议理论，根据性能反馈动态选择弱学习器的数量。
• 该方法维护一个弱学习器序列，随新数据的到来逐步更新。
• 理论分析表明，该算法相对于最优弱学习器序列的遗憾值是有界的。

实验结果

研究问题

• RQ1 在线弱学习器需要哪些理论假设，才能确保在线提升中的收敛性和性能？
• RQ2 如何在保持理论保证的前提下，将SmoothBoost框架适应到在线学习设置中？
• RQ3 在在线提升系统中，确定弱学习器数量的最优策略是什么？
• RQ4 在线凸规划与专家建议能否有效结合以提升在线提升性能？
• RQ5 所提算法在真实世界数据集上与现有在线提升方法相比，实证表现如何？

主要发现

• 所提在线提升算法实现了随轮次增长次线性的理论遗憾界，表明其具有优异的学习性能。
• 在多个真实世界数据集上，该算法在分类准确率方面优于现有在线提升方法。
• 利用专家建议实现的弱学习器动态选择，提升了泛化能力和适应性。
• 理论分析证实，该算法在所提出的在线弱学习器假设下保持了稳定性和收敛性。
• 实证结果表明，该算法在大规模流数据上具有鲁棒性和可扩展性。
• 将SmoothBoost适应到在线学习中，保持了其处理噪声数据和不平衡数据的能力。