[論文レビュー] Quantile Extreme Gradient Boosting for Uncertainty Quantification

Xiaozhe Yin, Masoud Fallah-Shorshani+4 more|arXiv (Cornell University)|Apr 23, 2023

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、XGBoostに微分可能Huber近似分位数回帰目的関数を導入することで、確率的予測区間による不確実性の定量化を可能にする、QXGBoostと呼ばれる新規手法を提案する。この手法は、シミュレート済みおよび実世界の交通ノイズデータの両方において、ベースラインモデルと比較してより良好なカバレッジと狭い予測区間を達成する。

ABSTRACT

As the availability, size and complexity of data have increased in recent years, machine learning (ML) techniques have become popular for modeling. Predictions resulting from applying ML models are often used for inference, decision-making, and downstream applications. A crucial yet often overlooked aspect of ML is uncertainty quantification, which can significantly impact how predictions from models are used and interpreted. Extreme Gradient Boosting (XGBoost) is one of the most popular ML methods given its simple implementation, fast computation, and sequential learning, which make its predictions highly accurate compared to other methods. However, techniques for uncertainty determination in ML models such as XGBoost have not yet been universally agreed among its varying applications. We propose enhancements to XGBoost whereby a modified quantile regression is used as the objective function to estimate uncertainty (QXGBoost). Specifically, we included the Huber norm in the quantile regression model to construct a differentiable approximation to the quantile regression error function. This key step allows XGBoost, which uses a gradient-based optimization algorithm, to make probabilistic predictions efficiently. QXGBoost was applied to create 90\% prediction intervals for one simulated dataset and one real-world environmental dataset of measured traffic noise. Our proposed method had comparable or better performance than the uncertainty estimates generated for regular and quantile light gradient boosting. For both the simulated and traffic noise datasets, the overall performance of the prediction intervals from QXGBoost were better than other models based on coverage width-based criterion.

研究の動機と目的

• 広く使われているがブラックボックスな機械学習モデルとしてのXGBoostにおける不確実性の定量化の欠如に対処すること。
• 標準的な分位数回帰の非微分可能性が、XGBoostにおける勾配ベース最適化を妨える問題を克服すること。
• ソースコードの変更を必要とせず、スケーラブルで容易に実装可能な予測区間を生成する手法を開発すること。
• 提案手法の性能を、分位数ベースのモデル（例：分位数LightGBMや通常のXGBoost）と比較すること。
• 環境および公衆衛生分野における意思決定をより信頼できるものにするために、校正された不確実性推定を提供すること。

提案手法

• 非微分可能な分位数損失の微分可能近似として、Huberノルムを用いた修正された分位数回帰目的関数を提案する。
• Huber近似分位数損失をXGBoostの勾配ブースティングフレームワークに統合し、テイラー展開を用いた2次最適化を可能にする。
• 滑らかさを制御するためのしきい値ハイパーパrameter τ を用い、バイアスと収束性のバランスをとる。
• 90%予測区間を得るために、複数の分位数（例：5番目と95番目）を予測するようにXGBoostモデルを学習する。
• 予測区間性能を評価するために、カバレッジ幅基準（PICPおよびPINAW）を用いる。
• カバレッジ確率と区間幅のバランスを取るために、しきい値τおよび通常のXGBoostハイパーパrameterをチューニングする。

Figure 1: Quantile plot.

実験結果

リサーチクエスチョン

• RQ1 分位数回帰の微分可能近似をXGBoostに成功裏に統合し、不確実性の定量化を可能にすることができるか？
• RQ2 QXGBoostは、通常のXGBoostおよび分位数LightGBMと比較して、予測区間のカバレッジと幅においてどのように異なるか？
• RQ3 Huberのしきい値パラメータτが予測区間の品質およびモデルの校正に与える影響は何か？
• RQ4 QXGBoostは、大規模なコード変更を要せず、良好に校正された予測区間を生成できるか？
• RQ5 この手法は、極値においても、さまざまなデータ分布に対して頑健な性能を維持できるか？

主な発見

• QXGBoostは、シミュレート済みおよび実世界の交通ノイズデータの両方において、ベースラインモデルと同等またはそれ以上の予測区間カバレッジと幅の性能を達成した。
• シミュレートデータでは、QXGBoostは予測区間カバレッジ確率（PICP）が90.1%、予測区間正規化平均幅（PINAW）が0.89を達成し、他のモデルを上回った。
• 実際の交通ノイズデータでは、QXGBoostはPICPが89.0%、PINAWが1.02を達成し、90%に到達するにはたった1%のカバレッジパディングで十分だった。
• シミュレートデータでは3%、実データでは1%のカバレッジパディングで十分だったことから、最小限の調整で良好な校正が得られた。
• 極端な交通ノイズレベルでは、訓練データが疎であるため性能が低下し、低レベルでは過大評価、高レベルでは低すぎると評価された。
• しきい値パラメータτは区間品質に顕著な影響を及ぼし、τを2未満に保つことで、劣化したHuber近似によるバイアスを回避し、最適な性能が得られた。

Figure 2: The difference between the absolute value function and Huber approximation function with different thresholds when the quantile $\tau=0.95$ .