[论文解读] Generalized Boosting Algorithms for Convex Optimization

Alexander Grubb, Drew Bagnell|arXiv (Cornell University)|May 10, 2011

Machine Learning and Algorithms参考文献 16被引用 23

一句话总结

本文通过引入一种新的弱学习器性能度量，并提出两种新算法——重复投影和残差投影——将梯度提升推广至任意凸损失函数，确保在光滑与非光滑目标下均能收敛。关键贡献是为非光滑凸问题提供了理论上的弱学习到强学习的保证，实验验证表明，现有方法在 'connect4' 和 'letter' 等挑战性数据集上无法收敛，而本文方法表现优异。

ABSTRACT

Boosting is a popular way to derive powerful learners from simpler hypothesis classes. Following previous work (Mason et al., 1999; Friedman, 2000) on general boosting frameworks, we analyze gradient-based descent algorithms for boosting with respect to any convex objective and introduce a new measure of weak learner performance into this setting which generalizes existing work. We present the weak to strong learning guarantees for the existing gradient boosting work for strongly-smooth, strongly-convex objectives under this new measure of performance, and also demonstrate that this work fails for non-smooth objectives. To address this issue, we present new algorithms which extend this boosting approach to arbitrary convex loss functions and give corresponding weak to strong convergence results. In addition, we demonstrate experimental results that support our analysis and demonstrate the need for the new algorithms we present.

研究动机与目标

• 将基于梯度的提升方法扩展至任意凸损失函数，超越光滑、强凸情形。
• 定义适用于函数空间中凸优化的广义弱学习器性能度量。
• 解决现有梯度提升算法在非光滑目标（如排序和多分类中的合页损失）上失效的问题。
• 在广义框架下，为现有及新算法提供弱学习到强学习的理论保证。
• 在模仿学习、排序和多分类任务中，通过实验验证新算法在先前方法失效的场景下的有效性。

提出的方法

• 在 $L^2$ 函数空间中形式化提升问题，实现对假设空间上梯度下降的严格分析。
• 基于梯度与弱学习器输出之间的内积，提出一种广义的弱学习器性能度量。
• 提出重复投影算法，即在每一步迭代中将梯度反复投影到弱学习器空间。
• 引入残差投影算法，通过维护一个残差向量来追踪未解释的梯度分量，从而提升收敛性。
• 采用希尔伯特空间框架，对投影误差进行有界控制，并推导出包含残差范数和弱学习器性能项的遗憾界。
• 在受限梯度下降设置中应用标准凸优化技术，如次梯度分析和基于范数的遗憾界。

实验结果

研究问题

• RQ1 能否将梯度提升推广至任意凸损失函数，包括非光滑损失（如合页损失）？
• RQ2 何种弱学习器性能度量可超越传统PAC设定，适用于凸优化？
• RQ3 为何现有梯度提升算法在非光滑目标上无法收敛，如何解决此问题？
• RQ4 所提出的算法——重复投影与残差投影——是否能为非光滑凸目标实现弱学习到强学习的保证？
• RQ5 在实际任务中，新算法与朴素投影及现有提升方法相比表现如何？

主要发现

• 现有梯度提升算法在非光滑凸目标上即使在有限维设置下也无法收敛，原因在于投影误差控制不佳。
• 残差投影算法实现了平均遗憾界 $O\left(\frac{\ln T}{\gamma^4 T}\right)$，优于重复投影算法的 $O\left(\frac{\ln T}{T} + \frac{1}{\gamma^2 T}\right)$。
• 在 'connect4' 和 'letter' UCI 数据集上，朴素投影算法无法收敛，反复循环使用相同的弱学习器，而新算法表现出优异性能。
• 在最大边界模仿学习任务中，残差算法收敛更快，且测试损失低于朴素方法和重复投影方法。
• 在 MSLR-WEB10K 排序数据集上，残差和重复投影算法比朴素方法更有效地减少了测试集中的不一致（违反约束）。
• 理论分析表明，残差机制有助于控制投影误差的累积效应，即使在弱学习器条件下也能实现收敛。