[论文解读] A Comprehensive Survey on Evidential Deep Learning and Its Applications

Junyu Gao, Mengyuan Chen+2 more|arXiv (Cornell University)|Sep 7, 2024

Machine Learning and Data Classification被引用 4

一句话总结

本综述将证据深度学习（EDL）呈现为一种单前向传播框架，用于深度学习中可靠的不确定性估计，通过主观逻辑和狄利克雷分布来建模信任质量与不确定性。该方法以极低的计算开销实现了高效的不确定性量化，在推理速度上优于传统的贝叶斯神经网络和深度集成方法，同时保持了良好的不确定性校准性能。

ABSTRACT

Reliable uncertainty estimation has become a crucial requirement for the industrial deployment of deep learning algorithms, particularly in high-risk applications such as autonomous driving and medical diagnosis. However, mainstream uncertainty estimation methods, based on deep ensembling or Bayesian neural networks, generally impose substantial computational overhead. To address this challenge, a novel paradigm called Evidential Deep Learning (EDL) has emerged, providing reliable uncertainty estimation with minimal additional computation in a single forward pass. This survey provides a comprehensive overview of the current research on EDL, designed to offer readers a broad introduction to the field without assuming prior knowledge. Specifically, we first delve into the theoretical foundation of EDL, the subjective logic theory, and discuss its distinctions from other uncertainty estimation frameworks. We further present existing theoretical advancements in EDL from four perspectives: reformulating the evidence collection process, improving uncertainty estimation via OOD samples, delving into various training strategies, and evidential regression networks. Thereafter, we elaborate on its extensive applications across various machine learning paradigms and downstream tasks. In the end, an outlook on future directions for better performances and broader adoption of EDL is provided, highlighting potential research avenues.

研究动机与目标

• 为证据深度学习（EDL）提供一个全面且易于理解的入门介绍，无需预先掌握该领域的知识。
• 阐明基于主观逻辑的EDL理论基础，并明确其与其它不确定性估计框架的差异。
• 系统性地回顾EDL领域近期的理论进展，包括证据收集、分布外泛化、训练策略以及回归扩展。
• 调查EDL在不同机器学习范式及下游任务（如计算机视觉、自然语言处理和科研应用）中的广泛应用。
• 识别当前的开放挑战与未来研究方向，特别是在将EDL与大型基础模型集成以及高风险应用中的潜力。

提出的方法

• EDL通过主观逻辑建模不确定性，将信念表示为信任质量，将不确定性作为独立的质量，从而明确表达‘我不知道’的状态。
• 采用狄利克雷分布作为主观意见的双射表示，其中参数对应于证据和不确定性。
• 深度神经网络作为证据收集器，为每个类别生成充分统计量（即证据），以定义狄利克雷后验分布。
• 通过在狄利克雷分布上积分标准损失函数来执行模型优化，支持端到端训练。
• 该框架通过证据回归网络支持分类与回归任务，将不确定性建模扩展至连续输出。
• EDL通过分布外样本正则化和自适应证据收集提升不确定性估计性能，增强对分布偏移的鲁棒性。

实验结果

研究问题

• RQ1 在理论上，证据深度学习与贝叶斯神经网络及深度集成方法在不确定性建模方面有何本质区别？
• RQ2 EDL领域在证据收集、分布外泛化及训练策略方面的关键理论进展有哪些？
• RQ3 EDL如何在计算机视觉、自然语言处理以及跨模态学习等多样化机器学习范式中实现有效应用？
• RQ4 当前EDL方法在估计纯粹的随机不确定性方面存在哪些局限性，如何加以改进？
• RQ5 EDL能否在不增加计算成本或降低性能的前提下，无缝集成到大型预训练基础模型中？

主要发现

• EDL仅需一次前向传播即可实现可靠的不确定性估计，与深度集成或贝叶斯神经网络相比，显著降低了计算成本。
• 使用狄利克雷分布使EDL能够自然地将不确定性作为独立质量进行建模，为表达‘我不知道’提供了原则性方法。
• 当结合分布外感知训练时，EDL在不确定性校准方面优于标准深度学习模型，尤其在检测分布外样本方面表现更优。
• 尽管EDL具有坚实的理论基础，但目前在部分基准测试中仍落后于主流不确定性方法，表明仍有改进空间。
• EDL在与大型基础模型集成方面展现出巨大潜力，尤其可通过蒸馏与压缩技术实现，但直接应用仍处于探索阶段。
• 在内容生成等未来应用中，如通过不确定性感知采样改进扩散模型，前景广阔且尚未被充分探索。