[论文解读] Benchmarking and Optimization of Gradient Boosted Decision Tree Algorithms

Andreea Anghel, Nikolaos Papandreou+3 more|arXiv (Cornell University)|Sep 12, 2018

Machine Learning and Data Classification参考文献 19被引用 18

一句话总结

本论文使用 XGBoost、LightGBM 和 CatBoost 在多种数据集上对梯度提升决策树（GBDT）算法进行了基准测试与优化，并采用 GPU 加速。评估了在超参数优化中的收敛速度与泛化性能，结果表明 GPU 加速实现显著缩短训练时间，同时保持或提升了模型准确率。

ABSTRACT

Gradient boosting decision trees (GBDTs) have seen widespread adoption in academia, industry and competitive data science due to their state-of-the-art performance in many machine learning tasks. One relative downside to these models is the large number of hyper-parameters that they expose to the end-user. To maximize the predictive power of GBDT models, one must either manually tune the hyper-parameters, or utilize automated techniques such as those based on Bayesian optimization. Both of these approaches are time-consuming since they involve repeatably training the model for different sets of hyper-parameters. A number of software GBDT packages have started to offer GPU acceleration which can help to alleviate this problem. In this paper, we consider three such packages: XGBoost, LightGBM and Catboost. Firstly, we evaluate the performance of the GPU acceleration provided by these packages using large-scale datasets with varying shapes, sparsities and learning tasks. Then, we compare the packages in the context of hyper-parameter optimization, both in terms of how quickly each package converges to a good validation score, and in terms of generalization performance.

研究动机与目标

• 评估三种主流 GBDT 库（XGBoost、LightGBM 和 CatBoost）在 GPU 加速下的性能表现。
• 比较这些库在超参数优化过程中的收敛速度。
• 评估在不同数据形状、稀疏性及学习任务下的泛化性能。
• 识别在 GPU 加速下，哪种 GBDT 实现能够在训练效率与预测准确率之间实现最佳平衡。

提出的方法

• 在具有不同维度、稀疏度水平和学习任务的大规模数据集上，评估 GPU 加速训练的性能。
• 使用贝叶斯优化对三种 GBDT 库进行超参数优化基准测试。
• 测量在超参数调优过程中收敛至最优验证分数的速度。
• 通过交叉验证和测试集评估比较泛化性能。
• 采用标准化的数据预处理与评估协议，确保不同库之间的公平比较。

实验结果

研究问题

• RQ1 在不同数据集上，GPU 加速对 XGBoost、LightGBM 和 CatBoost 的训练速度有何影响？
• RQ2 在超参数优化过程中，哪种 GBDT 库能最快收敛至高验证分数？
• RQ3 在 GPU 加速下，XGBoost、LightGBM 和 CatBoost 的泛化性能如何比较？
• RQ4 根据数据稀疏性或形状的不同，GBDT 库的选择是否对模型性能产生差异性影响？

主要发现

• GPU 加速在所有三种 GBDT 库中均显著缩短了训练时间，其中 LightGBM 在大多数基准场景中表现出最快的收敛速度。
• CatBoost 在稀疏和高维数据集上实现了最佳的泛化性能，在多个测试案例中优于 XGBoost 和 LightGBM。
• XGBoost 在密集型中等规模数据集上表现出色，具有优异的收敛速度与稳定性。
• 各库的相对性能因数据特征而异，LightGBM 在速度方面表现卓越，而 CatBoost 在复杂数据类型上表现出更高的准确性。