[论文解读] FastBDT: A speed-optimized and cache-friendly implementation of stochastic gradient-boosted decision trees for multivariate classification

Thomas M. Keck|arXiv (Cornell University)|Sep 20, 2016

Gaussian Processes and Bayesian Inference参考文献 2被引用 14

一句话总结

FastBDT 是一种高度优化、缓存友好的多变量分类随机梯度提升决策树实现，与 TMVA、scikit-learn 和 XGBoost 相比，在训练和推理阶段均实现了 10 倍的加速。它采用等频分箱技术，将浮点数运算替换为整数运算，并通过强制线性内存访问模式提升 CPU 缓存利用率。

ABSTRACT

Stochastic gradient-boosted decision trees are widely employed for multivariate classification and regression tasks. This paper presents a speed-optimized and cache-friendly implementation for multivariate classification called FastBDT. FastBDT is one order of magnitude faster during the fitting-phase and application-phase, in comparison with popular implementations in software frameworks like TMVA, scikit-learn and XGBoost. The concepts used to optimize the execution time and performance studies are discussed in detail in this paper. The key ideas include: An equal-frequency binning on the input data, which allows replacing expensive floating-point with integer operations, while at the same time increasing the quality of the classification; a cache-friendly linear access pattern to the input data, in contrast to usual implementations, which exhibit a random access pattern. FastBDT provides interfaces to C/C++, Python and TMVA. It is extensively used in the field of high energy physics by the Belle II experiment.

研究动机与目标

• 解决高吞吐量应用中训练和部署随机梯度提升决策树（SGBDT）的性能瓶颈。
• 在不牺牲分类质量的前提下，降低训练和推理阶段的计算延迟。
• 优化内存访问模式，提升决策树训练过程中的 CPU 缓存效率。
• 在高能物理和实时学习系统中实现快速、可扩展的多变量分类。
• 支持负权重和缺失值处理等高级功能，以实现复杂现实场景下的稳健部署。

提出的方法

• 对输入特征应用等频分箱，在训练过程中将浮点数运算转换为高效的整数运算。
• 强制采用线性、缓存友好的内存访问模式，以最小化直方图计算过程中的缓存未命中。
• 在每个提升步骤中使用随机子采样（子采样率 α）以增强泛化能力并减少过拟合。
• 通过树输出的 Sigmoid 变换和计算最终信号概率，符合梯度提升的标准做法。
• 支持个体负权重，用于数据驱动的信号与背景分离，以及对 NaN 和 inf 值的缺失数据处理。
• 提出一种基于迭代特征移除后 AUC 降低的特征重要性估计方法，得益于快速训练，该方法得以可行。

实验结果

研究问题

• RQ1 对 SGBDT 进行重新架构实现，是否能在训练和推理阶段均相比现有框架实现 10 倍加速？
• RQ2 等频分箱是否能同时提升梯度提升决策树的速度和分类性能？
• RQ3 缓存友好的内存访问模式在多大程度上减少了 CPU 缓存未命中并提升了执行效率？
• RQ4 快速训练是否能实现计算密集型的基于 AUC 的特征重要性估计（如 AUC 基于置换）？
• RQ5 FastBDT 在高能物理等多样化数据集和真实应用场景下的性能扩展性如何？

主要发现

• 与 TMVA、scikit-learn 和 XGBoost 相比，FastBDT 在训练阶段实现了 10 倍加速，且在各类数据集上表现一致。
• 应用阶段同样快了 10 倍，支持在高吞吐量环境中实现实时推理。
• 等频分箱通过减少数值不稳定性并提升分离增益估计，改善了分类质量。
• 缓存友好的内存访问显著减少了 CPU 缓存未命中，是性能提升的关键因素。
• FastBDT 支持负权重和缺失值（NaN 和 inf），可实现对高能物理中复杂数据的稳健处理。
• 快速训练使得基于 AUC 的特征重要性估计成为实际可行，否则在较慢框架中难以实现。