[论文解读] A New Perspective on Uncertainty Quantification of Deep Ensembles

Hu Shi, Nicola Pezzotti+1 more|arXiv (Cornell University)|Feb 13, 2020

Statistical Methods and Inference参考文献 48被引用 6

一句话总结

本文提出一种两阶段深度集成方法，通过第二个神经网络独立建模预测误差，从而改善不确定性量化，实现更好的正则化控制和更精确的偶然不确定性估计。在合成数据和MRI数据上的评估表明，该方法显著优于标准深度集成方法和基于Dropout的方法。

ABSTRACT

We present a novel perspective on uncertainty quantification in deep learning, based on the bias-variance decomposition of ensembles. We argue that the existing uncertainty estimation methods are suboptimal in estimating the prediction error of an ensemble, and propose a new two-stage procedure instead, where in the first stage we estimate the unknown function using an ensemble, and in the second stage we fit a separate neural net to the errors of the first model. We argue that this has several advantages, among which better control over regularization such as early stopping, and a more accurate approximation to the aleatoric uncertainty. We extensively test our method on both synthetic as well as real world MRI data, and find that our method significantly improves uncertainty estimates compared to various alternatives such as dropout and deep ensemble based methods.

研究动机与目标

• 为解决现有深度集成方法中不确定性估计不充分的问题。
• 改善对正则化技术（如早停法）在集成模型中控制的能力。
• 提供对预测误差中偶然不确定性更精确的近似。
• 开发一种将函数逼近与误差建模分离的方法，以提升不确定性校准效果。

提出的方法

• 第一阶段，通过深度集成模型从输入数据中估计未知的底层函数。
• 第二阶段，训练一个独立的神经网络，用于预测第一阶段集成模型的误差。
• 通过最小化预测误差与实际误差之间差异的损失函数，对误差模型进行优化。
• 该两阶段方法将函数学习与误差建模解耦，从而实现更好的正则化控制。
• 通过显式建模预测误差，该方法可实现更精确的偶然不确定性估计。

实验结果

研究问题

• RQ1 如何通过预测误差的结构化分解来改进深度集成中的不确定性量化？
• RQ2 将误差建模与函数逼近分离，在多大程度上能提升不确定性校准效果？
• RQ3 与标准集成训练相比，该方法能否实现更好的正则化控制？
• RQ4 在估计偶然不确定性方面，该方法与Dropout方法和标准深度集成方法相比表现如何？

主要发现

• 所提出的两阶段方法在合成数据和真实MRI数据上，相较于基线方法显著改善了不确定性估计。
• 由于误差模型的独立训练，该方法在正则化控制方面表现更优，特别是在早停策略中。
• 通过显式建模预测误差，该方法对偶然不确定性提供了更精确的近似。
• 在校准性和预测不确定性质量方面，该方法优于标准深度集成和基于Dropout的不确定性估计方法。