[论文解读] Estimating Epistemic and Aleatoric Uncertainty with a Single Model

Matthew A. Chan, María J. Molina+1 more|arXiv (Cornell University)|Feb 5, 2024

Forecasting Techniques and ApplicationsDecision Sciences被引用 3

一句话总结

本文提出 Hyper-Diffusion，一种单模型框架，利用条件扩散模型与超网络，同时估计机器学习中的认知不确定性与偶然不确定性。通过从超网络中采样多组权重，并利用扩散模型生成预测，其不确定性估计精度与深度集成方法相当，但训练成本仅为后者的极小部分。

ABSTRACT

Estimating and disentangling epistemic uncertainty, uncertainty that is reducible with more training data, and aleatoric uncertainty, uncertainty that is inherent to the task at hand, is critically important when applying machine learning to high-stakes applications such as medical imaging and weather forecasting. Conditional diffusion models' breakthrough ability to accurately and efficiently sample from the posterior distribution of a dataset now makes uncertainty estimation conceptually straightforward: One need only train and sample from a large ensemble of diffusion models. Unfortunately, training such an ensemble becomes computationally intractable as the complexity of the model architecture grows. In this work we introduce a new approach to ensembling, hyper-diffusion models (HyperDM), which allows one to accurately estimate both epistemic and aleatoric uncertainty with a single model. Unlike existing single-model uncertainty methods like Monte-Carlo dropout and Bayesian neural networks, HyperDM offers prediction accuracy on par with, and in some cases superior to, multi-model ensembles. Furthermore, our proposed approach scales to modern network architectures such as Attention U-Net and yields more accurate uncertainty estimates compared to existing methods. We validate our method on two distinct real-world tasks: x-ray computed tomography reconstruction and weather temperature forecasting.

研究动机与目标

• 解决在医学影像与天气预报等高风险机器学习应用中对可靠不确定性量化的关键需求。
• 克服在复杂模型，尤其是生成式设置下训练深度集成方法在计算上的不可行性。
• 利用单一训练模型，将认知不确定性（模型无知）与偶然不确定性（数据固有变异性）解耦。
• 开发一种可扩展的集成方法替代方案，在保持高预测准确性的同时实现不确定性估计。

提出的方法

• 在推理阶段，利用超网络为条件扩散模型生成（伪）集成权重集。
• 使用扩散模型从每组生成的权重中采样多个预测，形成预测分布。
• 将偶然不确定性估计为扩散模型输出中样本预测的方差。
• 将认知不确定性估计为不同权重集生成的平均预测之间的方差。
• 端到端训练超网络，以生成多样化且与数据一致的权重集，反映模型预测中的不确定性。
• 通过调整权重集数量（M）和每组权重的预测数量（N），在推理阶段实现灵活采样，模拟集成行为。

Figure 1: Block diagram of a hyper-diffusion model. A hyper-network is optimized to generate a (pseudo-)ensemble of network weights for a diffusion model which then outputs a distribution of predictions. The mean “ensemble” prediction is formed by averaging over all samples from the predictive distr

实验结果

研究问题

• RQ1 单个模型能否在复杂逆问题中近似达到深度集成的不确定性估计性能？
• RQ2 所提出的超扩散框架是否能在不牺牲预测准确性的情况下，准确解耦认知与偶然不确定性？
• RQ3 在分布外场景下，采样率（M 和 N）如何影响认知与偶然不确定性估计的可靠性？
• RQ4 该方法能否在 CT 重建与天气预报等真实高风险任务中实现具有竞争力的性能，同时保持计算高效？

主要发现

• 在 X 射线 CT 重建任务中，Hyper-Diffusion 的 PSNR 与 SSIM 指标略高于 MC-Dropout，且与 DPS-UQ 相当，尽管 MC-Dropout 因推理阶段的 dropout 导致性能下降。
• 随着权重集采样数量（M）的增加，认知不确定性估计得到改善，能更准确地识别出分布外特征（不确定性更高）与分布内区域（不确定性更低）。
• 当每组权重的预测数量（N）增加时，偶然不确定性估计变得更加均匀稳定，且在 N ≥ 8 时，不规则峰值消失。
• 该方法实现了准确的不确定性解耦：偶然不确定性捕捉了数据的固有变异性，而认知不确定性反映了模型的不确定性。
• Hyper-Diffusion 在 CT 重建与天气预报任务中的性能与深度集成方法相当，但训练成本显著降低。
• 该框架在不增加训练多个完整模型计算负担的前提下，实现了高风险应用中可扩展的不确定性估计。

Figure 2: Estimating aleatoric uncertainty with hyper-diffusion models. The distribution of sample variance for four hyper-diffusion models trained on datasets with varying noise levels is shown above. Notice that each distribution’s mean is approximately equal to the aleatoric variance $\sigma_{\et