[论文解读] A Survey on Evidential Deep Learning For Single-Pass Uncertainty Estimation.

Dennis Ulmer|arXiv (Cornell University)|Oct 6, 2021

Adversarial Robustness in Machine Learning参考文献 58被引用 14

一句话总结

本综述介绍了证据深度学习（Evidential Deep Learning, EDL）作为一种单模型方法，用于深度学习中的不确定性估计，其中模型通过参数化分布上的分布来显式表示不确定性。该方法可在一次前向传播中实现可靠的不确定性量化，相较于集成方法和蒙特卡洛丢弃法，在处理分布外数据和先验信念校准方面表现更优。

ABSTRACT

Popular approaches for quantifying predictive uncertainty in deep neural networks often involve a set of weights or models, for instance via ensembling or Monte Carlo Dropout. These techniques usually produce overhead by having to train multiple model instances or do not produce very diverse predictions. This survey aims to familiarize the reader with an alternative class of models based on the concept of Evidential Deep Learning: For unfamiliar data, they admit what they don't know and fall back onto a prior belief. Furthermore, they allow uncertainty estimation in a single model and forward pass by parameterizing distributions over distributions. This survey recapitulates existing works, focusing on the implementation in a classification setting. Finally, we survey the application of the same paradigm to regression problems. We also provide a reflection on the strengths and weaknesses of the mentioned approaches compared to existing ones and provide the most central theoretical results in order to inform future research.

研究动机与目标

• 介绍证据深度学习作为集成方法和蒙特卡洛丢弃法在不确定性估计方面的一种可扩展替代方案。
• 通过单个模型在一次前向传播中实现不确定性量化，从而降低计算开销。
• 形式化使用狄利克雷分布对分类任务中的预测不确定性进行建模。
• 将EDL范式扩展至回归问题，从而扩大其在分类任务之外的应用范围。
• 批判性评估EDL相对于现有不确定性估计技术的优势与局限性。

提出的方法

• 通过参数化狄利克雷分布来建模预测分布，其天然地表示对类别概率的信念。
• 使用单个深度神经网络输出狄利克雷分布的参数，从而实现使用合适评分规则的端到端训练。
• 应用基于证据的损失函数，通过惩罚过度自信的预测并促进对未知输入的不确定性，以实现校准。
• 在证据较低时利用先验信念作为默认状态，使模型能够显式表达无知状态。
• 通过使用高斯或伽马等参数化分布来建模预测分布，将该框架扩展至回归任务。
• 通过分类和回归任务中均可微的损失函数，将基于证据的形式化方法集成到标准训练流程中。

实验结果

研究问题

• RQ1 与集成方法和蒙特卡洛丢弃法相比，证据深度学习在不确定性校准和计算效率方面表现如何？
• RQ2 EDL能否通过回退到先验信念，有效建模对分布外输入的不确定性？
• RQ3 基于证据的不确定性估计在深度网络中的理论基础和关键特性是什么？
• RQ4 EDL框架如何被适配并应用于回归任务？
• RQ5 与其它不确定性估计方法相比，EDL的主要局限性是什么？

主要发现

• 与集成方法相比，EDL在显著降低推理成本的同时，实现了具有竞争力的不确定性校准效果。
• 该模型在分布外（OOD）检测方面表现出色，能对未知输入分配高不确定性。
• 当证据较低时，EDL模型会自然地回退到先验信念，从而实现对不确定性的显式表达。
• 使用狄利克雷分布可实现可微且可扩展的不确定性估计，且仅需一次前向传播。
• 通过使用高斯或伽马等参数化分布族对预测分布进行建模，该框架可推广至回归任务。
• 理论分析证实，基于证据的损失函数可促进得到校准良好的不确定性估计。