[論文レビュー] Gradient boosting for extreme quantile regression

Jasper Velthoen, Clément Dombry+2 more|arXiv (Cornell University)|Mar 1, 2021

Probabilistic and Robust Engineering Design被引用数 9

ひとこと要約

本稿では、応答分布の裾を予測変数に依存する一般化パレート分布（GPD）でモデル化する、極値回帰のための勾配ブースティングフレームワークgbexを提案する。木ベースのアンサンブル学習によりGPDのデヴァイアンスを最小化することで、観測データを超えた強固な高次元の外挿が可能となり、シミュレーションおよび実世界の気象予測応用において、古典的分位数回帰や極値手法を上回る性能を発揮する。

ABSTRACT

Extreme quantile regression provides estimates of conditional quantiles outside the range of the data. Classical quantile regression performs poorly in such cases since data in the tail region are too scarce. Extreme value theory is used for extrapolation beyond the range of observed values and estimation of conditional extreme quantiles. Based on the peaks-over-threshold approach, the conditional distribution above a high threshold is approximated by a generalized Pareto distribution with covariate dependent parameters. We propose a gradient boosting procedure to estimate a conditional generalized Pareto distribution by minimizing its deviance. Cross-validation is used for the choice of tuning parameters such as the number of trees and the tree depths. We discuss diagnostic plots such as variable importance and partial dependence plots, which help to interpret the fitted models. In simulation studies we show that our gradient boosting procedure outperforms classical methods from quantile regression and extreme value theory, especially for high-dimensional predictor spaces and complex parameter response surfaces. An application to statistical post-processing of weather forecasts with precipitation data in the Netherlands is proposed.

研究の動機と目的

• 尾部領域のデータが乏しい状況において、古典的分位数回帰が極値条件付き分位数を推定する際の限界を解消すること。
• 高次元の予測変数空間において、極値理論におけるパラメトリックまたは加法的モデルの次元の呪いと柔軟性の欠如を克服すること。
• 極値理論の外挿能力と木ベースのアンサンブル手法の予測力の両方を組み合わせた、柔軟で非パラメトリックな機械学習手法を開発すること。
• 気象予測の後処理など、複雑な現実世界の応用において、極値分位数（例：99.95百分位数）の強固な推定を可能にすること。
• 変数の重要度や部分的依存プロットなどの診断ツールを提供し、高次元設定におけるフィットしたモデルの解釈性を高めること。

提案手法

• 予測変数に依存する形状および尺度パラメータを有する一般化パレート分布（GPD）を用いて、応答分布の尾部をモデル化する。このモデル化は木ベースのアンサンブルによって実現する。
• 勾配ブースティングを用い、GPD尤度のデヴァイアンスを目的関数として最小化することで、パラメータ推定値の段階的改善を可能にする。
• 各木が直前のモデルの残差を補正するように、回帰木のアンサンブルを構築する。この際、偽応答としてデヴァイアンスの負の勾配が使用される。
• 交差検証を用いて、木の数や木の深さを含む最適なチューニングパラメータを選択し、モデルの汎化性能を保証する。
• 異なる観測所や予測変数の値に対応する観測値を標準化するために、超過度データを確率積分変換で変換する。これにより、妥当な適合度評価が可能になる。
• 超過度の指数変換に基づくQQプロットを用い、モデル適合度を評価し、異なるしきい値の選択を比較する。

実験結果

リサーチクエスチョン

• RQ1 尾部のデータが乏しい状況において、勾配ブースティングが極値条件付き分位数を効果的に推定するために適応可能であるか。
• RQ2 高次元の予測変数空間において、提案手法gbexは古典的分位数回帰および極値理論手法と比較して、どのように性能を発揮するか。
• RQ3 gbexは、GPDのパラメータ化における複雑で非線形な応答面をどの程度適切に扱えるか。
• RQ4 予測変数空間におけるノイズ変数や高次元特徴の存在に対して、gbexはどの程度頑健であるか。
• RQ5 歴史的な予報および観測データのみを用いて、gbexは豪雨などの極端な気象イベントに対する信頼性の高い早期警戒信号を提供できるか。

主な発見

• gbexは、特に高次元かつ非線形性が強い設定において、古典的分位数回帰および極値理論手法を著しく上回る性能を発揮する。
• 予測変数の数が多くても、強固な予測性能を維持しており、次元の呪いに対する頑健性を示している。
• 変数の重要度や部分的依存プロットなどの診断ツールは、極値分位数に影響を与える主要な予測変数を効果的に同定でき、モデルの解釈性を向上させた。
• オランダの降水量データへの応用において、gbexは観測された極端な出来事象（例：オранジ色の警戒レベル）と整合する99.95百分位数を的確に予測した。
• QQプロットにより、全観測所においてgbexモデルがデータに適切に適合していることが確認された。点が対角線に非常に近接しており、所定のしきい値におけるGPD近似の妥当性が裏付けられた。
• 定数パラメータを持つGPDモデルと比較して、gbexは適合度評価において優れた性能を示し、予測変数に依存するパラメータ推定の追加的価値を実証した。