[論文レビュー] Accurate Uncertainty Estimation and Decomposition in Ensemble Learning

Jeremiah Zhe Liu, John Paisley+2 more|arXiv (Cornell University)|Nov 11, 2019

Air Quality Monitoring and Forecasting被引用数 34

ひとこと要約

ベイズ非パラメトリックアンサンブル（BNE）を提案し、アレータリアル、パラメトリック、構造的不確実性の柔軟な校正のためにアンサンブルを補強し、理論的保証と大気汚染予測への適用を提供する。

ABSTRACT

Ensemble learning is a standard approach to building machine learning systems that capture complex phenomena in real-world data. An important aspect of these systems is the complete and valid quantification of model uncertainty. We introduce a Bayesian nonparametric ensemble (BNE) approach that augments an existing ensemble model to account for different sources of model uncertainty. BNE augments a model's prediction and distribution functions using Bayesian nonparametric machinery. It has a theoretical guarantee in that it robustly estimates the uncertainty patterns in the data distribution, and can decompose its overall predictive uncertainty into distinct components that are due to different sources of noise and error. We show that our method achieves accurate uncertainty estimates under complex observational noise, and illustrate its real-world utility in terms of uncertainty decomposition and model bias detection for an ensemble in predict air pollution exposures in Eastern Massachusetts, USA.

研究の動機と目的

• アンサンブル学習における完全な不確実性定量化の必要性を動機づける。
• アンサンブルの予測および分布のミススペシフィケーションを緩和するためのベイズ非パラメトリック拡張を開発する。
• 一貫したアレータリアル不確実性推定と不確実性分解に関する理論的保証を提供する。
• 合成非線形タスクと実世界の大気汚染予測アンサンブルで方法をデモンストレーションする。
• BNEが地域間でのバイアス検出と不確実性の解釈を可能にする方法を示す。

提案手法

• 基本アンサンブル Y = sum_k f_k(x) w_k + epsilon を、構造的バイアスを捉えるためにガウス過程としてモデル化された柔軟な残差 delta(x) で増強する。
• 分布仮定を、制約付きガウス過程としてモデリングされた非パラメトリックキャリブレーション関数 G を導入して、Phi_epsilon(y|x, mu) を F(y|x, mu) に写像するように校正する。
• 完全な BNE を F*(y|x) = G[Phi_epsilon(y|x, mu)], with mu = sum_k f_k(x) w_k + delta(x)。
• delta と G に対してシフト不変カーネル（例: Matérn 3/2）を用い、訓練データからの距離と分布的柔軟性を反映する不確実性を可能にする。
• カーネル行列の事前直交化を伴うハミルトニアンモンテカルロによる事後推定を実行する；計算複雑性とスケーラブルな手法について論じる。
• 予測バイアスを定量化・分解するための事後ベースのバイアス補正項 D_delta および D_G を提供する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルをどのように増強してアレータリアル、パラメトリック、構造的不確実性を正確に定量化できるか。
• RQ2 ガウス分布の仮定を超える複雑な分布のモデリングを、非パラメトリックなキャリブレーション関数は改善できるか。
• RQ3 残差補正とキャリブレーション関数は予測バイアス検出と不確実性分解にどのように寄与するか。
• RQ4 提案されたベイズ非パラメトリック成分は予測区間のキャリブレーションとアレータリアル不確実性推定の一貫性を保証するか。
• RQ5 合成非線形設定と実世界の大気汚染予測タスクでの BNE の性能はどうか。

主な発見

• BNE はキャリブレーション関数 G と残差過程 delta を介してデータ分布の柔軟なモデリングを提供し、予測と不確実性の特性の両方を向上させる。
• この枠組みは、広い条件下で CGP（制約付きガウス過程）定式化を介してアレータリアル不確実性の一貫した推定量を生み出す。
• BNE は認識可能不確実性をパラメトリックおよび構造的成分（delta および G）に分解し、さらに構造的成分 delta 対 G まで分解してバイアス診断を可能にする。
• 複雑な観測ノイズ下で、スタッキング、BAEs、非パラメトリック KDE/混合などのベースラインと比較して、キャリブレーションと予測精度の改善を示す。
• 東部マサチューセッツの三モデル PM2.5 暴露アンサンブルへの適用は、実践的なバイアス検出と空間的不確実性分解を示す。