[論文レビュー] Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees

Jonathan Brophy, Daniel Lowd|arXiv (Cornell University)|May 23, 2022

Statistical Methods and Inference被引用数 5

ひとこと要約

本稿では、木アンサンブルカーネルを用いてトレーニングデータのk個の最近傍を特定することで、任意の勾配ブースティング回帰木（GBRT）モデルにインスタンスベースの不確実性推定を統合するIBUGという手法を提案する。IBUGは22のデータセットにおいて最先端の確率的性能を達成しながらも、高いポイント予測精度を維持し、検証データでチューニングされたスカラー係数を用いることで柔軟な事後分布モデリングと改善されたキャリブレーションを実現する。

ABSTRACT

Gradient-boosted regression trees (GBRTs) are hugely popular for solving tabular regression problems, but provide no estimate of uncertainty. We propose Instance-Based Uncertainty estimation for Gradient-boosted regression trees (IBUG), a simple method for extending any GBRT point predictor to produce probabilistic predictions. IBUG computes a non-parametric distribution around a prediction using the $k$-nearest training instances, where distance is measured with a tree-ensemble kernel. The runtime of IBUG depends on the number of training examples at each leaf in the ensemble, and can be improved by sampling trees or training instances. Empirically, we find that IBUG achieves similar or better performance than the previous state-of-the-art across 22 benchmark regression datasets. We also find that IBUG can achieve improved probabilistic performance by using different base GBRT models, and can more flexibly model the posterior distribution of a prediction than competing methods. We also find that previous methods suffer from poor probabilistic calibration on some datasets, which can be mitigated using a scalar factor tuned on the validation data. Source code is available at https://www.github.com/jjbrophy47/ibug.

研究の動機と目的

• 勾配ブースティング回帰木（GBRT）は、表形式の回帰に広く用いられているが、予測値はポイント予測のみを提供するため、不確 Promise が欠如している問題に対処すること。
• 任意の事前に訓練済みのGBRTモデルに対して、再訓練を必要とせずにキャリブレートされた確率的予測を出力できる手法を開発すること。
• 既存の手法が分布タイプを制限するのに対し、予測事後分布のモデリングにおける柔軟性を向上させること。
• 木のサンプリング戦略を用いることで計算効率を向上させつつ、確率的性能を維持すること。
• 過去の手法で観察された不良な確率的キャリブレーションを、検証データでチューニング可能なスカラー係数を用いて是正すること。

提案手法

• IBUGはGBRTのポイント予測値を予測分布の平均として用い、モデルが正確な条件付き平均推定を実現していることに依存する。
• インスタンスの類似度は、アンサンブル内のすべての木において2つのインスタンスが同じリーフに同時に到達する回数として定義される木アンサンブルカーネルを用いる。
• テストインスタンスに対して、類似度が最も高い（カーネル空間で最も近い）k個のトレーニングインスタンスを特定し、不確実性を推定する。
• 不確率性は、トレーニングセットにおけるターゲットインスタンスのk個の最近傍を用いて非パラメトリックにモデリングされ、柔軟な事後分布推定が可能になる。
• 本手法は任意のGBRTをラッピングする形で実装され、再トレーニングを必要とせず、k個の最近傍に対してパラメトリックおよび非パラメトリックな分布フィッティングを両方サポートする。
• 特に最初から最後へのサンプリング戦略を用いることで、計算時間を大幅に削減し、性能の損失を最小限に抑えることができる。

実験結果

リサーチクエスチョン

• RQ1 後処理手法として、任意のGBRTモデルに信頼性のある確率的予測と不確実性推定を提供できるか？
• RQ2 IBUGのインスタンスベースの不確実性推定は、NGBoost、PGBM、CBUといった最先端の手法と比較して、確率的およびポイント予測性能においてどのように異なるか？
• RQ3 異なるベースGBRTモデルを用いることで、IBUGは多様な事後分布を柔軟にモデリングできるか？
• RQ4 木のサンプリングは、確率的性能を著しく低下させることなく、推論時間を顕著に短縮できるか？
• RQ5 スカラーキャリブレーション係数を適用することで、IBUGおよび他の不確実性手法の確率的キャリブレーションが、キャリブレーションが悪いデータセットにおいて改善できるか？

主な発見

• IBUGは22のベンチマーク回帰データセットにおいて、CRPSおよびNLLの指標で、最先端の手法と同等またはそれ以上の確率的性能を達成する。
• 11の小さなデータセットでは、IBUGはCRPSにおいてBARTを上回り、確率的（CRPS）およびポイント（RMSE）両方の性能で優位である。CRPSの観点では11勝0敗0分けの成績を記録する。
• 最初から最後への木のサンプリング戦略により、平均で5%の木数で最適なNLL性能が達成され、推論時間が顕著に短縮される。
• IBUGは、k個の最近傍に対して任意のパラメトリックまたは非パラメトリック分布を用いて事後分布を柔軟にモデリング可能であるのに対し、NGBoost、PGBM、CBUは特定の分布タイプに制限されている。
• 検証データでチューニングされたスカラー係数を適用することで、過去の手法で観察された不良なキャリブレーションを是正し、確率的キャリブレーションを向上させる。
• IBUGは不確実性推定を追加しても、最先端のポイント予測性能を維持するため、精度と信頼性の両方が求められる実世界の回帰応用に適している。