[論文レビュー] XGBoostLSS -- An extension of XGBoost to probabilistic forecasting

Alexander März|arXiv (Cornell University)|Jul 6, 2019

Forecasting Techniques and Applications被引用数 14

ひとこと要約

この論文は、XGBoostの拡張版であるXGBoostLSSを紹介している。XGBoostLSSは、従属変数の条件付き分布全体を、位置、スケール、形状のすべての分布パラメータを同時に推定することでモデル化する。XGBoostのブースティングフレームワークを、GAMLSSの原則に基づく分布モデリングと組み合わせることで、確率的予測、予測区間、分位数推定を可能にし、機械学習モデルにおける不確実性の定量化を著しく向上させる。

ABSTRACT

We propose a new framework of XGBoost that predicts the entire conditional distribution of a univariate response variable. In particular, XGBoostLSS models all moments of a parametric distribution (i.e., mean, location, scale and shape [LSS]) instead of the conditional mean only. Choosing from a wide range of continuous, discrete and mixed discrete-continuous distribution, modelling and predicting the entire conditional distribution greatly enhances the flexibility of XGBoost, as it allows to gain additional insight into the data generating process, as well as to create probabilistic forecasts from which prediction intervals and quantiles of interest can be derived. We present both a simulation study and real world examples that demonstrate the virtues of our approach.

研究の動機と目的

• 従来のXGBoostが条件付き平均しか予測しないという制限を解消し、完全な分布予測を可能にする。
• 位置、スケール、形状パラメータをモデル化するGAMLSSの柔軟性をXGBoostフレームワークに統合し、不確実性の定量化を向上させる。
• XGBoostの高速性と解釈可能性の特徴を維持しながら、確率的予測をサポートするスケーラブルで高性能な機械学習ツールを提供する。
• 統計的モデリング（データモデリング文化）とアルゴリズム的モデリング（アルゴリズムモデリング文化）の溝を埋めるために、解釈可能で分布に配慮した予測を可能にする。

提案手法

• パラメトリックな分布族を用いて、XGBoostを拡張し、すべての分布パラメータ（LSS：位置、スケール、形状）をモデル化する。
• 負の対数尤度を最小化するためにニュートンブースティングを適用し、経験的リスク最小化と最尤推定を結びつける。
• 既知のリンク関数を用いて線形予測子を分布パラメータにマッピングし、各パラメータの柔軟で加法的なモデリングを可能にする。
• 連続的、離散的、混合分布の広い範囲をサポートし、多様なデータタイプに適応可能である。
• XGBoostの既存機能を統合：SHAP値、部分的依存プロット、GPU/CPUおよび分散処理（Spark、Dask）、ベイズ的ハイパーパramータ最適化。
• 非i.i.d.なデータ構造（例：時系列、グループごのCV）に対応するため、依存性に配慮したクロスバリデーション戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 XGBoostは、平均だけでなく応答変数の条件付き分布全体をモデル化できるか？
• RQ2 XGBoostLSSは、標準的なXGBoostと比較して、不確実性の定量化および予測区間カバレッジにおいてどの程度優れているか？
• RQ3 XGBoostLSSは、分布パラメータの同時モデリングにより、実世界のデータにおける異分散性、歪度、尖度をどの程度正確に捉えることができるか？
• RQ4 応答分布の異なる分位数や期待値（expectiles）において、特徴量の重要度や部分的効果はどのように変化するか？
• RQ5 XGBoostLSSは、縦断的データや空間的依存性を示す非i.i.i.d.なデータ構造を効果的に処理できるか？

主な発見

• XGBoostLSSは、位置、スケール、形状のすべての分布パラメータを同時に推定することで、応答変数の条件付き分布全体を成功裏にモデル化した。
• モデルは、全予測分布から予測区間や関心のある分位数を導出可能であり、不確実性の定量化が著しく向上した。
• 特徴量の重要度や部分的効果は、異なる期待値や分位数において変化し、共変数が応答分布の異なる部分にどのように影響するかを明らかにした。
• 分布パラメータごとに計算されたSHAP値は、平均だけでなく各パラメータにおけるモデル挙動の解釈可能なインサイトを提供した。
• シミュレーションおよび実世界の例から、XGBoostLSSが歪度や異分散性といった分布特性を標準XGBoostよりも優れて捉えていることが示された。
• ベイズ最適化によりハイパーパramータが効果的にチューニングされ、複雑性が増しても計算効率を維持した。