[论文解读] CatBoostLSS -- An extension of CatBoost to probabilistic forecasting

Alexander März|arXiv (Cornell University)|Jan 4, 2020

Time Series Analysis and Forecasting参考文献 29被引用 7

一句话总结

该论文提出了 CatBoostLSS，作为 CatBoost 的扩展，通过估计参数分布的所有位置、尺度和形状（LSS）参数，对单变量响应的整个条件分布进行建模，从而实现概率预测、预测区间和分位数估计。该方法利用牛顿提升和最大似然估计，增强了机器学习模型的可解释性和不确定性量化能力。

ABSTRACT

We propose a new framework of CatBoost that predicts the entire conditional distribution of a univariate response variable. In particular, CatBoostLSS models all moments of a parametric distribution (i.e., mean, location, scale and shape [LSS]) instead of the conditional mean only. Choosing from a wide range of continuous, discrete and mixed discrete-continuous distributions, modelling and predicting the entire conditional distribution greatly enhances the flexibility of CatBoost, as it allows to gain insight into the data generating process, as well as to create probabilistic forecasts from which prediction intervals and quantiles of interest can be derived. We present both a simulation study and real-world examples that demonstrate the benefits of our approach.

研究动机与目标

• 通过将 CatBoost 扩展为建模响应变量的整个条件分布，弥合统计建模与机器学习之间的差距。
• 实现超越条件均值的概率预测，提供感兴趣的预测区间和分位数。
• 通过估计所有分布参数（位置、尺度、形状），增强梯度提升树模型的可解释性和不确定性量化能力。
• 通过模拟研究和多样化数据场景下的真实世界应用，展示 CatBoostLSS 的实用性。
• 整合统计学习的优势（推断、分布建模）与机器学习的预测能力（CatBoost）。

提出的方法

• CatBoostLSS 通过使用牛顿提升方法，对参数分布的所有参数（位置、尺度、形状）进行建模，从而扩展 CatBoost。
• 该方法通过最大似然估计实现经验风险最小化，利用牛顿-拉夫森更新规则进行参数优化。
• 支持广泛的连续型、离散型以及混合型离散-连续分布，以更好地拟合数据生成过程。
• 该框架可通过反演拟合的参数模型的累积分布函数，实现条件分位数和预测区间的估计。
• 通过在不同期望值（expectiles）上分析特征重要性和部分效应，评估协变量对响应分布不同部分的影响。
• 该模型以 Python 实现，将通过 GitHub 仓库公开发布。

实验结果

研究问题

• RQ1 CatBoost 能否被扩展以建模响应变量的完整条件分布，而不仅仅是条件均值？
• RQ2 与仅建模均值的模型相比，建模所有分布参数（LSS）在不确定性量化和预测性能方面有何提升？
• RQ3 CatBoostLSS 在真实世界数据中，能在多大程度上捕捉异方差性、偏度等分布特征？
• RQ4 与现有的概率预测方法（如 NGBoost 和 GAMLSS）相比，CatBoostLSS 在准确性和鲁棒性方面表现如何？
• RQ5 CatBoostLSS 内部的期望值回归能否揭示协变量在响应分布不同部分的差异性影响？

主要发现

• CatBoostLSS 通过估计所有 LSS 参数，成功建模了整个条件分布，从而支持概率预测和不确定性量化。
• 在模拟和真实世界数据中，该模型在捕捉偏度和异方差性等分布特征方面，优于仅建模均值的基线模型。
• CatBoostLSS 内部的期望值回归表明，特征效应在响应分布的不同部分存在差异，部分协变量在尾部的影响强于在中位数处。
• 模拟研究证实，CatBoostLSS 在各种数据生成机制下，均能提供准确且稳定的分布参数估计。
• 真实世界应用（如慕尼黑租金数据）表明，CatBoostLSS 比均值回归提供了更丰富的洞察，能够捕捉高价与低价租金的差异化影响。
• 该方法在小样本中对期望值交叉具有鲁棒性，但建议进行调整以提升估计稳定性。