[论文解读] InfiniteBoost: building infinite ensembles with gradient descent

Alex Rogozhnikov, Tatiana Likhomanenko|arXiv (Cornell University)|Jun 4, 2017

Image Retrieval and Classification Techniques参考文献 14被引用 7

一句话总结

InfiniteBoost 是一种新颖的集成学习算法，结合了梯度提升的误差校正机制与随机森林在无限扩展时不易过拟合的能力。通过使用带有容量参数和归一化的连续梯度下降框架，它实现了任意大的集成模型，且性能渐近稳定，从而消除了对学习率超参数调优的需求，同时在回归、分类和排序任务上的表现与随机森林或梯度提升相当或更优。

ABSTRACT

In machine learning ensemble methods have demonstrated high accuracy for the variety of problems in different areas. Two notable ensemble methods widely used in practice are gradient boosting and random forests. In this paper we present InfiniteBoost - a novel algorithm, which combines important properties of these two approaches. The algorithm constructs the ensemble of trees for which two properties hold: trees of the ensemble incorporate the mistakes done by others; at the same time the ensemble could contain the infinite number of trees without the over-fitting effect. The proposed algorithm is evaluated on the regression, classification, and ranking tasks using large scale, publicly available datasets.

研究动机与目标

• 解决在使用大规模集成时梯度提升算法因过拟合而导致可扩展性受限的问题。
• 结合梯度提升的误差校正优势与随机森林的无限可扩展性。
• 通过引入连续且归一化的更新机制，消除梯度提升中对学习率超参数调优的需求。
• 构建一个框架，使得当树的数量趋近于无穷时，集成模型性能收敛至稳定极限。

提出的方法

• 该算法在函数空间中采用连续梯度下降公式，通过归一化树添加步骤更新集成模型。
• 每棵新树均通过最小化当前集成预测相对于损失函数的负梯度来训练。
• 引入容量参数以控制每棵新树的有效贡献，确保集成在增长过程中保持稳定。
• 归一化步骤对新树进行缩放，并调整集成模型以保持一致的量级，防止发散。
• 通过基于集成中活跃树数量的动态缩放因子，避免使用学习率。
• 该算法设计为在树的数量增加时收敛至函数空间中的固定点，从而保证泛化能力。

实验结果

研究问题

• RQ1 能否设计一种提升算法，使其可支持无限数量的树而不过拟合，如同随机森林一样？
• RQ2 能否修改梯度提升算法，以消除对学习率超参数调优的需求，同时保持或提升性能？
• RQ3 在函数空间中采用连续且归一化的更新规则，是否能确保随着树的数量增加，集成预测结果稳定收敛？
• RQ4 InfiniteBoost 在各类学习任务中与标准梯度提升和随机森林相比，性能如何？

主要发现

• InfiniteBoost 在回归、分类和排序任务中，性能与最优学习率设置下的随机森林和梯度提升相当或更优。
• InfiniteBoost 在未见数据上的学习曲线在经过一定迭代后趋于稳定，表明随着集成规模增大，模型收敛且无过拟合现象。
• 该算法无需学习率超参数调优，因为归一化和容量参数可自动控制模型复杂度。
• 理论分析证明，当树的数量趋于无穷时，InfiniteBoost 在函数空间中收敛至一个固定点，从而保证泛化能力。
• 实验结果表明，与标准梯度提升在达到峰值后性能下降不同，InfiniteBoost 即使在极大规模集成下，也能在保留数据上保持稳定性能。