[论文解读] SketchBoost: Fast Gradient Boosted Decision Tree for Multioutput Problems

Leonid Iosipoi, Anton Vakhrushev|arXiv (Cornell University)|Nov 23, 2022

Machine Learning and Data Classification被引用 10

一句话总结

SketchBoost 提出了一种用于多输出问题的快速梯度提升决策树框架，通过基于草图技术的近似评分方法显著加速训练过程——最快可达 40 倍——同时保持或提升模型性能。该方法集成于 Py-Boost（一个可定制的 GPU 加速 GBDT 库）中，通过在树分裂选择过程中高效近似多个输出的信息增益。

ABSTRACT

Gradient Boosted Decision Tree (GBDT) is a widely-used machine learning algorithm that has been shown to achieve state-of-the-art results on many standard data science problems. We are interested in its application to multioutput problems when the output is highly multidimensional. Although there are highly effective GBDT implementations, their scalability to such problems is still unsatisfactory. In this paper, we propose novel methods aiming to accelerate the training process of GBDT in the multioutput scenario. The idea behind these methods lies in the approximate computation of a scoring function used to find the best split of decision trees. These methods are implemented in SketchBoost, which itself is integrated into our easily customizable Python-based GPU implementation of GBDT called Py-Boost. Our numerical study demonstrates that SketchBoost speeds up the training process of GBDT by up to over 40 times while achieving comparable or even better performance.

研究动机与目标

• 解决梯度提升决策树（GBDT）在多输出场景（如多分类、多标签和多输出回归）中的可扩展性瓶颈。
• 降低多变量决策树中分裂评分的计算成本，该步骤是单树 GBDT 训练中最耗时的部分。
• 开发一种在不牺牲模型准确率或泛化能力的前提下，对多个输出的信息增益进行近似的方法。
• 利用 GPU 加速和草图技术，实现在大规模、高维输出问题上的高效训练。
• 将该方法集成到灵活、开源、基于 GPU 的 GBDT 框架（Py-Boost）中，以支持实际部署。

提出的方法

• 提出 SketchBoost，一种新颖方法，利用随机投影和草图技术来近似多变量决策树分裂的评分函数。
• 在树结构搜索过程中应用草图技术，以估计多个输出维度上的信息增益，从而减少完整输出计算的开销。
• 将基于草图的评分机制集成到 GPU 加速的 GBDT 框架（Py-Boost）中，以利用并行计算和高速内存访问。
• 将草图维度 $k$ 作为超参数，以控制速度与近似精度之间的权衡。
• 实现随机投影和随机采样两种草图变体，以评估方法的鲁棒性与性能。
• 在 GBDT 中保持单树策略，即所有输出联合优化，但通过草图技术加速分裂评估步骤。

实验结果

研究问题

• RQ1 通过草图技术进行近似评分是否能显著减少多输出 GBDT 的训练时间，同时不降低模型性能？
• RQ2 草图方法的选择（随机投影 vs. 随机采样）如何影响速度与精度之间的权衡？
• RQ3 与 XGBoost 和 CatBoost 等现有 GBDT 框架相比，SketchBoost 在高维输出问题上的可扩展性如何？
• RQ4 草图技术的使用是否能保持甚至提升多输出学习任务中的泛化性能？
• RQ5 所提出的方法能否高效集成到 GPU 加速、可生产部署的 GBDT 框架中？

主要发现

• 在多输出问题上，SketchBoost 相较于 XGBoost 和 CatBoost 的训练时间最多可缩短 40 倍，训练时间从数百秒减少至数十秒。
• 在 MNIST 和 Caltech 数据集上，SketchBoost 使用随机投影（$k=1$）分别达到 0.973±0.0028 和 0.5549±0.008 的测试准确率，优于 CatBoost 和 GBDT-MO（稀疏）在 Caltech 上的准确率。
• 在 NUS-WIDE 多标签数据集上，SketchBoost 达到 0.9893±0.0002 的准确率，匹配或超过所有基线方法在所有草图维度下的表现。
• 在 MNIST-REG 回归任务上，SketchBoost 的 RMSE 为 0.266±0.0019，与所有基线方法相比表现相当或更优，包括 GBDT-MO（稀疏）。
• SketchBoost 的训练时间在所有数据集上均稳定控制在 100 秒以内，而 CatBoost 在 NUS-WIDE 上耗时超过 13,000 秒，显示出卓越的可扩展性。
• 使用草图维度 $k=1$ 到 $k=20$ 均能保持高性能，表明该近似方法在不同草图维度下具有鲁棒性。