[论文解读] Dense Uncertainty Estimation

Jing Zhang, Yuchao Dai+8 more|arXiv (Cornell University)|Oct 13, 2021

Adversarial Robustness in Machine Learning参考文献 121被引用 10

一句话总结

本文提出了一种用于深度学习中密集不确定性估计的统一框架，结合基于集成的方法估计认知不确定性，以及基于生成模型的方法估计随机不确定性，从而实现校准良好、像素级的置信度图。该方法在不损失预测准确率的前提下，提升了模型校准性能和分布外检测能力，在语义分割和分类基准上实现了最先进性能，支持不确定性感知推理。

ABSTRACT

Deep neural networks can be roughly divided into deterministic neural networks and stochastic neural networks.The former is usually trained to achieve a mapping from input space to output space via maximum likelihood estimation for the weights, which leads to deterministic predictions during testing. In this way, a specific weights set is estimated while ignoring any uncertainty that may occur in the proper weight space. The latter introduces randomness into the framework, either by assuming a prior distribution over model parameters (i.e. Bayesian Neural Networks) or including latent variables (i.e. generative models) to explore the contribution of latent variables for model predictions, leading to stochastic predictions during testing. Different from the former that achieves point estimation, the latter aims to estimate the prediction distribution, making it possible to estimate uncertainty, representing model ignorance about its predictions. We claim that conventional deterministic neural network based dense prediction tasks are prone to overfitting, leading to over-confident predictions, which is undesirable for decision making. In this paper, we investigate stochastic neural networks and uncertainty estimation techniques to achieve both accurate deterministic prediction and reliable uncertainty estimation. Specifically, we work on two types of uncertainty estimations solutions, namely ensemble based methods and generative model based methods, and explain their pros and cons while using them in fully/semi/weakly-supervised framework. Due to the close connection between uncertainty estimation and model calibration, we also introduce how uncertainty estimation can be used for deep model calibration to achieve well-calibrated models, namely dense model calibration. Code and data are available at https://github.com/JingZhang617/UncertaintyEstimation.

研究动机与目标

• 为解决用于语义分割和图像分类等密集预测任务的确定性深度神经网络中存在的过度自信问题。
• 将不确定性估计整合到完全监督、半监督和弱监督学习框架中，以提升模型可靠性。
• 开发一种统一的框架，利用不确定性图作为置信度调整的指导，实现密集模型校准。
• 使用不确定性感知预测评估模型校准性能和分布外检测性能。
• 提供开源代码和数据集，以支持不确定性估计的可复现性及进一步研究。

提出的方法

• 利用深度集成方法通过训练多个独立模型并聚合其预测结果，来估计认知不确定性。
• 采用生成模型（如变分自编码器或流模型）通过建模标签噪声和数据分布来估计随机不确定性。
• 应用温度缩放和事后校准技术，基于估计的不确定性图优化置信度分数。
• 将不确定性估计作为事后或在线学习策略，以在像素级别提升模型校准性能。
• 构建反映每个输出空间位置上模型不确定性与数据不确定性相结合的不确定性感知置信度图。
• 使用分布外（OOD）样本评估校准性能，其中校准良好的模型应对OOD输入应产生较低置信度。

实验结果

研究问题

• RQ1 基于集成的方法在密集预测任务中能否有效估计认知不确定性？
• RQ2 生成模型在像素级预测中在多大程度上能捕捉随机不确定性？
• RQ3 不确定性估计是否能在不降低预测准确率的前提下改善模型校准？
• RQ4 不确定性感知校准在语义分割和图像分类中如何提升分布外检测性能？
• RQ5 在不同监督范式（完全监督、半监督、弱监督）下，集成方法与生成模型方法的相对有效性如何？

主要发现

• 所提出的框架通过将不确定性估计与模型校准相结合，在图像分类和语义分割基准上实现了最先进水平的校准性能。
• 像素级不确定性图显著提升了对分布外样本的检测能力，尤其在类别无关的分割任务中表现突出。
• 基于集成的方法提供了稳健的认知不确定性估计，而生成模型则有效捕捉了数据层面的噪声和随机不确定性。
• 将不确定性估计整合到模型校准中，在保持分布内样本高准确率的同时，降低了对不确定或分布外输入的置信度。
• 使用不确定性图进行事后校准比标准温度缩放具有更好的置信度校准效果，尤其在长尾分布和分布偏移场景下。
• 该方法在保持高预测性能的同时提供了可靠的不确定性量化，证明了在真实世界应用中实现密集不确定性估计的可行性。