[论文解读] LinXGBoost: Extension of XGBoost to Generalized Local Linear Models

Laurent de Vito|arXiv (Cornell University)|Oct 10, 2017

Gaussian Processes and Bayesian Inference参考文献 11被引用 5

一句话总结

LinXGBoost 通过用树叶处的局部线性模型替代 XGBoost 的分段常数预测，扩展了 XGBoost，从而能够更好地回归具有间断性或平滑度变化的函数。实验表明，LinXGBoost 仅需极少的树（通常少于五棵）即可实现与 XGBoost 相当或更优的性能，尤其在低维设置下表现突出。

ABSTRACT

XGBoost is often presented as the algorithm that wins every ML competition. Surprisingly, this is true even though predictions are piecewise constant. This might be justified in high dimensional input spaces, but when the number of features is low, a piecewise linear model is likely to perform better. XGBoost was extended into LinXGBoost that stores at each leaf a linear model. This extension, equivalent to piecewise regularized least-squares, is particularly attractive for regression of functions that exhibits jumps or discontinuities. Those functions are notoriously hard to regress. Our extension is compared to the vanilla XGBoost and Random Forest in experiments on both synthetic and real-world data sets.

研究动机与目标

• 解决 XGBoost 在低维输入空间中使用分段常数预测所存在的局限性，因为在这些场景下分段线性模型更为合适。
• 提升对具有跳跃或间断性的函数的回归性能，这类函数难以用标准 XGBoost 建模。
• 通过使用局部线性近似而非固定带宽或全局模型，实现对输入相关平滑度的更好建模。
• 证明与 XGBoost 相比，LinXGBoost 实现相似或更优的预测精度所需树的数量更少。
• 为研究和实际回归任务提供一种轻量级、可解释的扩展模型实现。

提出的方法

• 将 XGBoost 中叶子节点的常数值替换为线性模型（即线性回归系数）
• 将目标函数表述为分段正则化最小二乘问题，其中每个区域（叶子）拟合一个局部线性模型
• 通过计算每个叶子处局部线性模型的梯度和海塞矩阵，使用梯度提升进行优化
• 对线性模型系数以及叶子数量施加 L2 正则化，以防止过拟合
• 通过最小化正则化目标函数贪婪地生长树，分裂点由正则化目标函数的减少量决定
• 基于 Chen (2014) 从零开始用 Python 实现该算法（非作为 XGBoost 插件），以提升清晰度和可扩展性

实验结果

研究问题

• RQ1 在 XGBoost 中用局部线性模型替代常数预测，是否能提升对具有间断性或平滑度变化函数的回归性能？
• RQ2 LinXGBoost 为达到相似预测精度所需树的数量与 XGBoost 相比如何？
• RQ3 LinXGBoost 在具有低维输入的合成数据集和真实世界数据集上是否优于 XGBoost 和随机森林？
• RQ4 在何种场景下（例如一维与高维）局部线性扩展能带来最大收益？
• RQ5 LinXGBoost 是否能有效建模输入空间中平滑度变化的函数，如地形表面或具有突变的信号？

主要发现

• 在合成数据集和真实世界数据集上，LinXGBoost 仅使用显著更少的树（通常少于五棵）即可实现与 XGBoost 相当或更优的 NMSE 性能。
• 在 CCPP 数据集上，LinXGBoost 的 NMSE 为 0.03567 ± 0.00289，略差于 XGBoost 的 0.03371 ± 0.00233，但仍与随机森林相当。
• 在 pumadyn-8nm 数据集上，LinXGBoost（0.03876 ± 0.00177）略逊于 XGBoost（0.03737 ± 0.00145），但优于随机森林。
• 在一维问题如 HeavySine 函数中，LinXGBoost 仅用一棵树即可生成在视觉和定量上均优于 XGBoost 分段常数预测的结果。
• 该方法无需显式建模跳跃位置即可有效捕捉函数中的跳跃和间断，因此在这些场景下优于标准 XGBoost。
• 尽管计算成本较高，LinXGBoost 为建模具有可变长度尺度的非平稳函数提供了合理方法，尤其在低维回归任务中具有显著优势。