[论文解读] A Survey on Uncertainty Quantification Methods for Deep Learning

Wenchong He, Zhe Jiang+3 more|arXiv (Cornell University)|Feb 26, 2023

Adversarial Robustness in Machine Learning被引用 26

一句话总结

本综述按不确定性来源（数据 vs. 模型）对深度神经网络不确定性量化方法进行分类，并讨论它们的优缺点与应用。

ABSTRACT

Deep neural networks (DNNs) have achieved tremendous success in computer vision, natural language processing, and scientific and engineering domains. However, DNNs can make unexpected, incorrect, yet overconfident predictions, leading to serious consequences in high-stakes applications such as autonomous driving, medical diagnosis, and disaster response. Uncertainty quantification (UQ) estimates the confidence of DNN predictions in addition to their accuracy. In recent years, many UQ methods have been developed for DNNs. It is valuable to systematically categorize these methods and compare their strengths and limitations. Existing surveys mostly categorize UQ methodologies by neural network architecture or Bayesian formulation, while overlooking the uncertainty sources each method addresses, making it difficult to select an appropriate approach in practice. To fill this gap, this paper presents a taxonomy of UQ methods for DNNs based on uncertainty sources (e.g., data versus model uncertainty). We summarize the advantages and disadvantages of each category, and illustrate how UQ can be applied to machine learning problems (e.g., active learning, out-of-distribution robustness, and deep reinforcement learning). We also identify future research directions, including UQ for large language models (LLMs), AI-driven scientific simulations, and deep neural networks with structured outputs.

研究动机与目标

• 通过解决高风险领域中对过于自信的DNN预测的问题来推动可信AI。
• 提出基于不确定性来源（数据 vs. 模型）的UQ方法分类，而不仅仅基于架构或贝叶斯视角。
• 总结每个不确定性来源类别下UQ方法的优缺点。
• 将UQ分类法与主动学习、鲁棒性和强化学习等应用联系起来。
• 识别研究空白并概述DNN不确定性量化的未来方向。

提出的方法

• 给出按不确定性来源分类的系统性UQ方法分类：数据不确定性、模型不确定性及其组合。
• 将数据不确定性描述为 aleatoric，将模型不确定性描述为 epistemic，并给出各自的表示（数据方面的判别式 vs. 生成式；数据方面的贝叶斯神经网络、集成和样本密度模型）。
• 讨论带后验近似技术的贝叶斯神经网络（变分推断、拉普斯近似、马尔科夫链蒙特卡罗）及其权衡。
• 将集成方法和证据学习方法解释为捕捉不确定性的全贝叶斯处理替代方案。
• 强调在校准预测不确定性以及将后验近似扩展到现代DNN上的挑战。

实验结果

研究问题

• RQ1 如何按不确定性来源（数据 vs. 模型）系统性地对DNN预测的不确定性进行分类，而不是依赖架构或贝叶斯视角？
• RQ2 在不同应用中，处理数据不确定性、模型不确定性或二者结合的方法的相对优点与局限性是什么？
• RQ3 提出的按不确定性来源的分类法如何在主动学习、鲁棒性和强化学习等任务中指导方法选择？
• RQ4 深度学习不确定性量化的当前空缺与有前景的方向是什么？
• RQ5 在医疗、地球科学和交通等高风险领域，数据不确定性与模型不确定性如何相互作用？

主要发现

• 一种新的分类法按不确定性来源对UQ方法进行组织，而不仅仅按模型架构或贝叶斯框架。
• 数据不确定性通过判别式和生成式方法来建模输出分布，以反映固有的数据噪声。
• 通过贝叶斯神经网络、集成和样本密度感知模型来捕捉参数、架构和分布偏移的不确定性。
• 将数据不确定性与模型不确定性结合可提供全面视角，但会增加计算和存储需求；证据深度学习提供更高效的替代方案。
• 该综述将UQ分类法与现实世界领域（医学、地球科学、交通、生物化学）联系起来，并讨论应用特定挑战与未来方向。