[论文解读] Benchmarking state-of-the-art gradient boosting algorithms for classification

Piotr Florek, Adam Zagdański|arXiv (Cornell University)|May 26, 2023

Machine Learning and Data Classification被引用 11

一句话总结

本论文在12个多样数据集上基准测试四种梯度提升变体（GBM、XGBoost、LightGBM、CatBoost），比较基线模型与经随机搜索和贝叶斯优化（TPE）调优的模型。

ABSTRACT

This work explores the use of gradient boosting in the context of classification. Four popular implementations, including original GBM algorithm and selected state-of-the-art gradient boosting frameworks (i.e. XGBoost, LightGBM and CatBoost), have been thoroughly compared on several publicly available real-world datasets of sufficient diversity. In the study, special emphasis was placed on hyperparameter optimization, specifically comparing two tuning strategies, i.e. randomized search and Bayesian optimization using the Tree-stuctured Parzen Estimator. The performance of considered methods was investigated in terms of common classification accuracy metrics as well as runtime and tuning time. Additionally, obtained results have been validated using appropriate statistical testing. An attempt was made to indicate a gradient boosting variant showing the right balance between effectiveness, reliability and ease of use.

研究动机与目标

• 在多样的真实世界数据集中推动需要鲁棒、可适应的梯度提升方法的需求。
• 系统性比较标准GBM、XGBoost、LightGBM和CatBoost在分类任务上的表现。
• 评估两种超参数调优策略（随机搜索和贝叶斯优化）对性能和效率的影响。
• 为从业者在有效性、可靠性和易用性之间取得平衡提供指导。

提出的方法

• 回顾并总结原始的GBM以及三种最先进的梯度提升框架（XGBoost、LightGBM、CatBoost）。
• 比较基线（未调优）模型与通过贝叶斯优化（树结构的Parzen估计器，Tree-structured Parzen Estimators）或随机搜索调优的模型。
• 使用12个公开数据集，具有不同特征（二分类/多分类、高维、稀疏、图像/文本预处理）。
• 在每个数据集上对所有模型使用5折调优和10折评估交叉验证，采用相同的数据拆分，衡量准确率、F1、AUC、运行时间和调优时间。
• 应用统计检验（Friedman检验、Nemenyi事后检验）以评估分类器性能差异。
• 在模型之间一致地对分类特征进行编码并处理数据预处理，以确保公平比较。

实验结果

研究问题

• RQ1 在多样数据集上，GBM、XGBoost、LightGBM和CatBoost在准确率、F1和AUC方面的比较如何？
• RQ2 超参数调优（随机搜索与贝叶斯优化）对每种方法的性能和训练时间有何影响？
• RQ3 在现实世界数据设置中，哪种梯度提升变体在有效性、可靠性和易用性之间提供最佳平衡？

主要发现

• 基线的XGBoost和CatBoost通常在相对其他方法具有较高的AUC、准确率和F1，但结果因数据集而异。
• LightGBM显示出较快的训练时间，但在不同数据集上的性能波动较大。
• GBM（原始的Friedman变体）通常相对于现代实现表现不佳。
• 超参数调优在各方法上都能提升性能，贝叶斯优化和随机搜索根据数据集和方法而带来不同的增益。
• 在各数据集上，没有单一算法在所有指标上占优；选择取决于数据集特征和资源约束。
• 使用非参数统计检验来验证不同方法之间的性能差异。