[论文解读] Accurate Uncertainty Estimation and Decomposition in Ensemble Learning

Jeremiah Zhe Liu, John Paisley+2 more|arXiv (Cornell University)|Nov 11, 2019

Air Quality Monitoring and Forecasting被引用 34

一句话总结

提出贝叶斯非参数集成（BNE），用于增强集成，以实现对偶验变、参数性和结构性不确定性的灵活校准，具有理论保证并应用于空气污染预测。

ABSTRACT

Ensemble learning is a standard approach to building machine learning systems that capture complex phenomena in real-world data. An important aspect of these systems is the complete and valid quantification of model uncertainty. We introduce a Bayesian nonparametric ensemble (BNE) approach that augments an existing ensemble model to account for different sources of model uncertainty. BNE augments a model's prediction and distribution functions using Bayesian nonparametric machinery. It has a theoretical guarantee in that it robustly estimates the uncertainty patterns in the data distribution, and can decompose its overall predictive uncertainty into distinct components that are due to different sources of noise and error. We show that our method achieves accurate uncertainty estimates under complex observational noise, and illustrate its real-world utility in terms of uncertainty decomposition and model bias detection for an ensemble in predict air pollution exposures in Eastern Massachusetts, USA.

研究动机与目标

• 为集成学习中的完整不确定性量化提供动机。
• 开发贝叶斯非参数增强，以缓解集成中的预测和分布错配。
• 提供一致性估计的理论保证对 aleatoric 不确定性及不确定性分解。
• 在合成非线性任务和现实世界的空气污染预测集成上演示该方法。
• 展示 BNE 如何在区域间实现偏差检测和不确定性解释。

提出的方法

• 将基线集成 Y = sum_k f_k(x) w_k + epsilon 增强为一个灵活的残差 delta(x)，建模为高斯过程，以捕捉结构性偏差。
• 通过引入非参数校准函数 G 来校准分布假设，G 为受约束的高斯过程，映射 Phi_epsilon(y|x, mu) 到 F(y|x, mu)。
• 将完整的 BNE 形式化为 F*(y|x) = G[Phi_epsilon(y|x, mu)]，其中 mu = sum_k f_k(x) w_k + delta(x)。
• 对 delta 和 G 使用平移不变核（例如 Matérn 3/2），使不确定性能够反映与训练数据的距离和分布灵活性。
• 通过带有核矩阵预正交化的哈密顿蒙特卡罗进行后验推断；讨论计算复杂性和可扩展方案。
• 提供基于后验的偏差校正项 D_delta 和 D_G，以量化和分解预测偏差。

实验结果

研究问题

• RQ1 如何增强一个集成，以准确量化 aleatoric、parametric 和 structural 不确定性？
• RQ2 非参数校准函数能否超越高斯假设，改善集成对复杂分布的建模？
• RQ3 残差更正和校准函数如何促进预测偏差检测与不确定性分解？
• RQ4 所提的贝叶斯非参数组件是否能确保预测区间的标定以及 aleatoric 不确定性估计的一致性？
• RQ5 BNE 在合成非线性情境和现实世界的空气污染预测任务中的表现如何？

主要发现

• BNE 通过校准函数 G 和残差过程 delta 提供对数据分布的灵活建模，提升预测与不确定性特征的描述。
• 在广义条件下，通过 CGP（约束高斯过程）公式，该框架提供对 aleatoric 不确定性的一致估计量。
• BNE 能将知识不确定性分解为参数性和结构性成分(delta 和 G)，并进一步分解为结构成分 delta 与 G，用于偏差诊断。
• 实验在复杂观测噪声条件下，相比堆叠、BAEs 和非参数 KDE/混合等基线，显示出更好的标定和预测准确性。
• 在马萨诸塞州东部的三模型 PM2.5 暴露集成中的应用，展示了实际的偏差检测和空间不确定性分解。