[论文解读] Gradient boosting for extreme quantile regression

Jasper Velthoen, Clément Dombry+2 more|arXiv (Cornell University)|Mar 1, 2021

Probabilistic and Robust Engineering Design被引用 9

一句话总结

本文提出 gbex，一种用于极端分位数回归的梯度提升框架，通过使用协变量依赖的广义帕累托分布（GPD）对响应分布的尾部进行建模。通过基于树的集成学习最小化GPD偏差，gbex能够在观测数据之外实现稳健的高维外推，其在模拟实验和真实世界气象预报应用中的表现优于经典分位数回归和极值方法。

ABSTRACT

Extreme quantile regression provides estimates of conditional quantiles outside the range of the data. Classical quantile regression performs poorly in such cases since data in the tail region are too scarce. Extreme value theory is used for extrapolation beyond the range of observed values and estimation of conditional extreme quantiles. Based on the peaks-over-threshold approach, the conditional distribution above a high threshold is approximated by a generalized Pareto distribution with covariate dependent parameters. We propose a gradient boosting procedure to estimate a conditional generalized Pareto distribution by minimizing its deviance. Cross-validation is used for the choice of tuning parameters such as the number of trees and the tree depths. We discuss diagnostic plots such as variable importance and partial dependence plots, which help to interpret the fitted models. In simulation studies we show that our gradient boosting procedure outperforms classical methods from quantile regression and extreme value theory, especially for high-dimensional predictor spaces and complex parameter response surfaces. An application to statistical post-processing of weather forecasts with precipitation data in the Netherlands is proposed.

研究动机与目标

• 解决在尾部分布区域数据稀少时，经典分位数回归在估计极端条件分位数方面的局限性。
• 克服极值理论中参数模型或可加模型在高维预测变量空间下的维度灾难和灵活性不足问题。
• 开发一种灵活的非参数机器学习方法，结合极值理论的外推能力与基于树的集成方法的预测优势。
• 在复杂的真实世界应用（如气象后处理）中实现对极端分位数（例如99.95百分位数）的稳健估计。
• 提供变量重要性与部分依赖图等诊断工具，以在高维设置下解释拟合模型。

提出的方法

• 使用协变量依赖的形状和尺度参数的广义帕累托分布（GPD）对响应分布的尾部分布进行建模，采用基于树的集成方法。
• 使用梯度提升最小化GPD似然的偏差作为目标函数，实现参数估计的迭代优化。
• 构建回归树的集成模型，其中每棵树通过拟合前一模型的残差进行校正，使用偏差的负梯度作为伪响应变量。
• 应用交叉验证选择最优调参，包括树的数量和树的深度，以确保模型泛化能力。
• 通过概率积分变换对超额数据进行变换，以标准化不同站点和协变量值下的观测值，从而实现有效的拟合优度评估。
• 基于超额值的指数变换使用QQ图评估模型拟合效果，并比较不同阈值选择的效果。

实验结果

研究问题

• RQ1 当尾部分布区域数据稀少时，梯度提升能否被有效适配以估计极端条件分位数？
• RQ2 在高维预测变量空间中，所提出的gbex方法相较于经典分位数回归和极值理论方法表现如何？
• RQ3 gbex在GPD参数化过程中对复杂非线性响应曲面的处理能力如何？
• RQ4 gbex在预测变量空间中存在噪声变量和高维特征时的鲁棒性如何？
• RQ5 仅使用历史预报和观测数据，gbex能否为极端天气事件（如强降水）提供可靠的早期预警信号？

主要发现

• gbex在估计极端分位数方面显著优于经典分位数回归和极值理论方法，尤其在高维和复杂非线性场景下表现突出。
• 即使预测变量数量较多，该方法仍保持强劲的预测性能，展现出对维度灾难的鲁棒性。
• 变量重要性和部分依赖图等诊断工具能有效识别影响极端分位数的关键预测变量，提升模型可解释性。
• 在荷兰降水数据的应用中，gbex成功预测了与观测到的极端事件（包括橙色预警级别）一致的99.95%分位数。
• QQ图显示，gbex模型在所有站点的拟合效果良好，点迹紧密沿对角线分布，表明在选定阈值下GPD近似恰当。
• 在拟合优度评估中，gbex优于固定参数的GPD模型，证明了协变量依赖参数估计的附加价值。