[论文解读] Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees

Jonathan Brophy, Daniel Lowd|arXiv (Cornell University)|May 23, 2022

Statistical Methods and Inference被引用 5

一句话总结

本文提出IBUG，一种通过树集成核函数结合k近邻方法，利用梯度提升回归树（GBRT）模型中k个最近邻训练样本，实现基于实例的不确定性估计，从而增强任何GBRT模型的不确定性预测能力。IBUG在22个数据集上实现了最先进的概率性能，同时保持了优异的点预测精度，并通过验证集调优的标量因子实现了灵活的后验分布建模与改进的校准效果。

ABSTRACT

Gradient-boosted regression trees (GBRTs) are hugely popular for solving tabular regression problems, but provide no estimate of uncertainty. We propose Instance-Based Uncertainty estimation for Gradient-boosted regression trees (IBUG), a simple method for extending any GBRT point predictor to produce probabilistic predictions. IBUG computes a non-parametric distribution around a prediction using the $k$-nearest training instances, where distance is measured with a tree-ensemble kernel. The runtime of IBUG depends on the number of training examples at each leaf in the ensemble, and can be improved by sampling trees or training instances. Empirically, we find that IBUG achieves similar or better performance than the previous state-of-the-art across 22 benchmark regression datasets. We also find that IBUG can achieve improved probabilistic performance by using different base GBRT models, and can more flexibly model the posterior distribution of a prediction than competing methods. We also find that previous methods suffer from poor probabilistic calibration on some datasets, which can be mitigated using a scalar factor tuned on the validation data. Source code is available at https://www.github.com/jjbrophy47/ibug.

研究动机与目标

• 为解决广泛应用于表格回归的梯度提升回归树（GBRT）缺乏不确定性估计的问题，这些模型仅提供点预测。
• 开发一种方法，使任何预训练的GBRT模型都能在无需重新训练的情况下生成校准的概率预测。
• 相比现有方法对分布类型的限制，提升对预测后验分布建模的灵活性。
• 通过树采样策略提升计算效率，同时保持概率性能。
• 通过在验证数据上调节的可调标量因子，缓解先前方法中观察到的不良概率校准问题。

提出的方法

• IBUG将GBRT的点预测结果作为预测分布的均值，利用模型准确的条件均值估计能力。
• 通过树集成核函数定义实例亲和度：两个实例在集成中所有树的相同叶节点中共同出现的次数。
• 对于给定的测试实例，IBUG识别与之亲和度最高（在核空间中最近）的k个训练实例以估计不确定性。
• 通过在训练集中使用目标实例的k个最近邻，非参数化地建模不确定性，从而实现灵活的后验分布估计。
• 该方法作为GBRT的封装器实现，无需重新训练，支持在k个最近邻上进行参数化或非参数化分布拟合。
• 通过树采样策略（尤其是首到尾采样）提升运行效率，显著降低计算成本，同时性能损失极小。

实验结果

研究问题

• RQ1 后处理方法能否将任意GBRT模型扩展为生成可靠概率预测并提供不确定性估计？
• RQ2 与NGBoost、PGBM和CBU等先进方法相比，IBUG的基于实例的不确定性估计在概率性能和点预测性能方面表现如何？
• RQ3 IBUG能否通过使用不同的基础GBRT模型灵活建模多样的后验分布？
• RQ4 树采样是否能显著减少推理时间而不降低概率性能？
• RQ5 在概率校准表现不佳的数据集中，通过在验证数据上调节的标量因子能否改善IBUG及其他不确定性方法的概率校准？

主要发现

• 在22个基准回归数据集上，IBUG在CRPS和NLL指标下均实现了与最先进方法相当或更优的概率性能。
• 在11个小型数据集上，IBUG在概率性能（CRPS）和点预测性能（RMSE）方面均优于BART，CRPS指标下取得11胜0平0负的战绩。
• 采用首到尾采样策略时，平均仅使用5%的树即可达到最优NLL性能，显著降低推理时间。
• IBUG可灵活地在k个最近邻上使用任意参数化或非参数化分布建模后验分布，而NGBoost、PGBM和CBU则受限于特定分布类型。
• 通过在验证数据上调节的标量因子，该方法改善了概率校准，解决了先前方法中观察到的校准不良问题。
• IBUG在保持最先进点预测性能的同时增加了不确定性估计能力，使其适用于对精度与可靠性均有要求的真实世界回归应用。