[论文解读] Gradient Boosting With Piece-Wise Linear Regression Trees

Yu Shi, Jian Li+1 more|arXiv (Cornell University)|Feb 15, 2018

Machine Learning and Data Classification参考文献 23被引用 10

一句话总结

本文提出梯度提升决策树的分段线性回归树（GBDT-PL），通过在叶节点使用线性模型替代原有的分段常数树，提升模型收敛速度与预测精度。该方法结合增量特征选择、半加法拟合与SIMD优化实现，训练速度与XGBoost、LightGBM、CatBoost等先进工具包相当，且在密集数值型数据集上实现了更高的准确率与更快的收敛速度。

ABSTRACT

Gradient Boosted Decision Trees (GBDT) is a very successful ensemble learning algorithm widely used across a variety of applications. Recently, several variants of GBDT training algorithms and implementations have been designed and heavily optimized in some very popular open sourced toolkits including XGBoost, LightGBM and CatBoost. In this paper, we show that both the accuracy and efficiency of GBDT can be further enhanced by using more complex base learners. Specifically, we extend gradient boosting to use piecewise linear regression trees (PL Trees), instead of piecewise constant regression trees, as base learners. We show that PL Trees can accelerate convergence of GBDT and improve the accuracy. We also propose some optimization tricks to substantially reduce the training time of PL Trees, with little sacrifice of accuracy. Moreover, we propose several implementation techniques to speedup our algorithm on modern computer architectures with powerful Single Instruction Multiple Data (SIMD) parallelism. The experimental results show that GBDT with PL Trees can provide very competitive testing accuracy with comparable or less training time.

研究动机与目标

• 通过用分段线性回归树（PL Trees）替代分段常数基学习器，提升梯度提升决策树（GBDT）的表征能力。
• 针对梯度提升中分段线性树训练的高计算成本，设计高效的算法与系统级优化方案。
• 在保持与当前最先进GBDT工具包（XGBoost、LightGBM、CatBoost）相当的训练效率的同时，提升密集数值型数据集上的预测准确率。
• 通过现代CPU的SIMD并行计算与缓存感知数据结构，实现可扩展的高性能GBDT-PL训练。

提出的方法

• 将GBDT中的二阶近似扩展至使用PL Trees作为基学习器，通过更具表达力的叶节点模型实现更快收敛。
• 在树生长过程中引入增量特征选择，控制线性模型规模，降低拟合开销。
• 提出半加法拟合机制，高效更新树构建过程中的线性模型，避免对大型模型进行昂贵的重新拟合。
• 将分段常数树中的直方图技术适配至PL Trees，实现高效的分裂点评估。
• 通过位运算与内存访问模式优化数据布局，减少缓存未命中，加速SIMD并行处理。
• 实现自定义训练流水线，集成算法优化与底层系统级性能工程。

实验结果

研究问题

• RQ1 与标准的分段常数树相比，分段线性回归树（PL Trees）是否能提升梯度提升的收敛速度与预测准确率？
• RQ2 在大规模数据集上，为实现PL Trees的可扩展与高效训练，需要哪些算法与系统级优化？
• RQ3 所提出的GBDT-PL方法在训练速度与测试准确率方面，相较于XGBoost、LightGBM、CatBoost等先进GBDT实现有何表现？
• RQ4 增量特征选择与半加法拟合在多大程度上降低了PL Trees中线性模型拟合的计算开销？
• RQ5 通过精心设计的数据结构与内存访问优化，能否有效利用SIMD并行计算加速PL Tree的训练？

主要发现

• 在10个公开的密集数值型数据集上，GBDT-PL的测试准确率优于XGBoost、LightGBM与CatBoost，尤其在回归任务中优势显著。
• 模型收敛速度优于基线GBDT方法，在较少树数下即可达到相近准确率，多组数据集的迭代精度曲线验证了这一点。
• 在固定5个回归器的情况下，GBDT-PL表现具有竞争力，且增加回归器数量可进一步提升准确率。
• 训练时间与最先进工具包相当或更优，多数数据集中GBDT-PL以更短或相等时间实现更高准确率。
• 增量特征选择与半加法拟合的结合，在不损失准确率的前提下显著降低了PL Trees中线性模型拟合的计算负担。
• 缓存感知数据布局与SIMD优化实现显著降低了训练延迟，使该方法适用于大规模实际应用。