[論文レビュー] Uncertainty in Gradient Boosting via Ensembles

Andrey Malinin, Liudmila Prokhorenkova+1 more|arXiv (Cornell University)|Jun 18, 2020

Gaussian Processes and Bayesian Inference参考文献 35被引用数 33

ひとこと要約

本論文は、勾配ブースティング決定木（GBDT）に対するアンサンブルベースの不確実性推定を提案し、Stochastic Gradient Langevin Boosting（SGLB）および仮想アンサンブル（vSGLB）を含み、データ不確実性と知識不確実性を定量化し、out-of-domain検出への適用を目指す。

ABSTRACT

For many practical, high-risk applications, it is essential to quantify uncertainty in a model's predictions to avoid costly mistakes. While predictive uncertainty is widely studied for neural networks, the topic seems to be under-explored for models based on gradient boosting. However, gradient boosting often achieves state-of-the-art results on tabular data. This work examines a probabilistic ensemble-based framework for deriving uncertainty estimates in the predictions of gradient boosting classification and regression models. We conducted experiments on a range of synthetic and real datasets and investigated the applicability of ensemble approaches to gradient boosting models that are themselves ensembles of decision trees. Our analysis shows that ensembles of gradient boosting models successfully detect anomalous inputs while having limited ability to improve the predicted total uncertainty. Importantly, we also propose a concept of a virtual ensemble to get the benefits of an ensemble via only one gradient boosting model, which significantly reduces complexity.

研究の動機と目的

• 表形式データに用いられるGBDTモデルにおける予測的不確実性の必要性を動機づけ、形式化する。
• GBDT予測におけるデータ不確実性と知識不確実性を分離するためのアンサンブルベースの枠組みを開発する。
• GBDTモデルのアンサンブルを生成する方法（SGBおよびSGLB）を提案し、計算コストを削減するための仮想アンサンブル（vSGLB）を導入する。
• 合成データ上のアンサンブルベース不確実性推定の特性を分析し、分類・回帰ベンチマークで評価する。

提案手法

• モデルパラメータを確率変数とし、予測を事後サンプルで集約するベイジアンアンサンブルの視点で不確実性を位置づける。
• エントロピーに基づく総不確実性と相互情報量に基づく知識不確実性、さらに回帰の分散ベースの分解を説明する。
• 3つのアンサンブル戦略を特徴づける：SGB（データのランダムサブサンプリング）、SGLB（後部分布からサンプルするためのLangevinダイナミクス）、および仮想SGLB（単一GBDTの切り詰めサブモデルを用いる） 。
• SGLBの更新を、ガウスノイズを混入させた更新と、定常後部分布を生み出すシュリンケージベースの更新規則を用いて説明する。
• SGLB軌道からK番目ごとのパラメータ集合を選択して、コストを削減したアンサンブルを構築する仮想アンサンブルの導入。
• 回帰にはNGBoost風の予測分布（平均と分散）、分類にはクラス分布を用い、負の対数尤度で訓練する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル法（SGB、SGLB）はGBDTモデルのデータ不確実性と知識不確実性の意味ある推定を提供できるか？
• RQ2 仮想アンサンブル（vSGLB）は計算コストを抑えつつ不確実性の利点を保持するか？
• RQ3 分類と回帰タスクにおけるアウト・オブ・ドメイン入力や誤り検出において、アンサンブルベースの不確実性推定はどの程度機能するか？
• RQ4 実務的なGBDTの不確実性推定におけるSGB対SGLB対vSGLBの比較的利点は何か？

主な発見

• GBDTモデルのアンサンブルは、総不確実性と知識不確実性の増加を通じて異常（out-of-domain）入力を検出でき、知識不確実性はOOD領域を強調する。
• SGLBアンサンブルは漸近的に真の事後分布からサンプリングし、体系的な不確実性推定を可能にする。
• 単一GBDTモデルから派生した仮想アンサンブル（vSGLB）は、特にカテゴリ特徴を持つ分類で有用な知識不確実性信号を提供でき、計算コストを削減する。
• 回帰および分類タスクでは、総不確実性が誤り検出に一般的に効果的であり、知識不確実性はより強いOOD信号を提供する。
• vSGLBは切り詰められたサブモデル間の相関のため、真のSGLBアンサンブルには劣る傾向があるが、特定の設定（特にカテゴリ特徴を持つ場合）では有用である。
• 全体として、アンサンブルはGBDTに対して合理的な不確実性推定を提供し、知識不確実性を用いるとOOD検出が向上し、vSGLBは安価だがときに弱い代替となる。