[论文解读] Functional Frank-Wolfe Boosting for General Loss Functions

Chu Wang, Yingfei Wang+2 more|arXiv (Cornell University)|Oct 9, 2015

Machine Learning and Algorithms参考文献 29被引用 10

一句话总结

本文提出FWBoost，一种新型的基于Frank-Wolfe的提升算法，适用于一般损失函数，并通过$l_1$正则化防止过拟合。通过将提升问题建模为约束优化问题，并利用Frank-Wolfe的收敛性保证，FWBoost实现了$O(1/t)$的收敛速率，即使在增加提升轮次的情况下也能保持稳定的测试性能，在回归和分类任务上优于标准和正则化基线方法。

ABSTRACT

Boosting is a generic learning method for classification and regression. Yet, as the number of base hypotheses becomes larger, boosting can lead to a deterioration of test performance. Overfitting is an important and ubiquitous phenomenon, especially in regression settings. To avoid overfitting, we consider using $l_1$ regularization. We propose a novel Frank-Wolfe type boosting algorithm (FWBoost) applied to general loss functions. By using exponential loss, the FWBoost algorithm can be rewritten as a variant of AdaBoost for binary classification. FWBoost algorithms have exactly the same form as existing boosting methods, in terms of making calls to a base learning algorithm with different weights update. This direct connection between boosting and Frank-Wolfe yields a new algorithm that is as practical as existing boosting methods but with new guarantees and rates of convergence. Experimental results show that the test performance of FWBoost is not degraded with larger rounds in boosting, which is consistent with the theoretical analysis.

研究动机与目标

• 为解决提升算法中的过拟合问题，尤其是在过拟合现象普遍存在的回归场景中。
• 开发一种具有理论收敛保证和泛化误差界（独立于迭代次数）的提升算法。
• 将提升与Frank-Wolfe优化统一于一般损失函数框架下，实现高效且正则化的集成学习。
• 证明通过Frank-Wolfe实现的$l_1$正则化可在不随迭代轮次增加而性能下降的前提下，保持或提升测试性能。

提出的方法

• FWBoost将提升问题建模为约束优化问题，通过在权重$\alpha_j$上施加$l_1$范数约束来最小化经验风险。
• 采用Frank-Wolfe算法，迭代选择能降低损失的基学习器$h_t$，并通过步长$\gamma_t = 2/(t+2)$的线性搜索更新权重。
• 在二分类的指数损失下，FWBoost退化为AdaBoost.FW，一种基于重加权的算法，其计算成本与AdaBoost完全相同。
• 该方法采用函数梯度下降策略，每轮迭代在基学习器空间$\mathcal{H}$上求解子问题。
• 引入一种远端步长变体，以增强最终集成模型的稀疏性，提升可解释性和泛化能力。
• 该方法确保了泛化误差界仅依赖于$l_1$约束，而不依赖于迭代次数$T$。

实验结果

研究问题

• RQ1 基于Frank-Wolfe的提升算法是否能在保持与标准提升算法相同计算复杂度的前提下，实现$O(1/t)$的收敛速率？
• RQ2 通过Frank-Wolfe实现的$l_1$正则化是否能有效防止提升算法中的过拟合，尤其是在回归任务中？
• RQ3 在测试误差和迭代轮次增加过程中的稳定性方面，FWBoost相较于AdaBoost及其他正则化提升方法的表现如何？
• RQ4 Frank-Wolfe框架能否被适配于一般损失函数的集成学习，并提供理论保证？

主要发现

• 在UCI回归数据集上，FWBoost在经验风险减少方面显著快于标准梯度提升及其他正则化基线方法。
• 在Auto MPG、Housing和Concrete Slump数据集上，FWBoost算法实现了最低的平均测试MSE，优于早停法和BLasso方法。
• 在二分类任务中，AdaBoost.FW在大量迭代后测试误差无下降趋势，而标准AdaBoost在心脏病数据集上则出现过拟合。
• FWBoost的测试误差在整个提升轮次中保持稳定且较低，验证了其对过拟合具有鲁棒性的理论预测。
• FWBoost的远端步长变体提升了集成模型的稀疏性，使模型更紧凑且更具可解释性。
• 理论分析证实，泛化误差仅由$l_1$约束决定，与迭代次数$T$无关。