[论文解读] A Deeper Look into Aleatoric and Epistemic Uncertainty Disentanglement

Matías Valdenegro-Toro, Daniel Saromo|arXiv (Cornell University)|Apr 20, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文将MC-Dropout以外的多种不确定性量化方法中随机性与认知性不确定性的解耦推广，揭示了在Flipout等方法中，认知性与随机性不确定性之间存在出乎意料的相互作用——尤其在Flipout中，认知性不确定性接近零。使用β-NLL损失的集成方法在解耦质量和可靠性方面表现最佳，尤其在分布外设置下表现突出。

ABSTRACT

Neural networks are ubiquitous in many tasks, but trusting their predictions is an open issue. Uncertainty quantification is required for many applications, and disentangled aleatoric and epistemic uncertainties are best. In this paper, we generalize methods to produce disentangled uncertainties to work with different uncertainty quantification methods, and evaluate their capability to produce disentangled uncertainties. Our results show that: there is an interaction between learning aleatoric and epistemic uncertainty, which is unexpected and violates assumptions on aleatoric uncertainty, some methods like Flipout produce zero epistemic uncertainty, aleatoric uncertainty is unreliable in the out-of-distribution setting, and Ensembles provide overall the best disentangling quality. We also explore the error produced by the number of samples hyper-parameter in the sampling softmax function, recommending N > 100 samples. We expect that our formulation and results help practitioners and researchers choose uncertainty methods and expand the use of disentangled uncertainties, as well as motivate additional research into this topic.

研究动机与目标

• 将随机性与认知性不确定性的解耦从MC-Dropout推广至其他不确定性量化方法。
• 评估不同不确定性估计技术对解耦不确定性分解质量的影响。
• 研究深度学习模型中随机性与认知性不确定性之间出乎意料的相互作用。
• 评估在分布外设置下随机性不确定性估计的可靠性。
• 为Softmax采样函数推荐最优采样超参数，以减少近似误差。

提出的方法

• 将Kendall与Gal（2017）提出的解耦框架扩展至支持多种不确定性量化方法，包括集成、Flipout、Dropout和DropConnect。
• 应用β-NLL损失以提升回归任务中随机性与认知性不确定性的估计质量。
• 通过在Softmax函数中使用不同数量的样本（N）进行蒙特卡洛采样，估计不确定性并评估近似误差。
• 通过从训练数据集中采样，采用经验风险最小化（ERM）方法，估计与训练分布相同的不确定性。
• 通过在玩具回归任务和真实世界分类（FER+）与回归任务中的可视化，评估解耦质量。
• 使用准确率、交叉熵损失和预测分布的熵等指标，比较不同方法的不确定性估计。

实验结果

研究问题

• RQ1 不确定性量化方法的选择如何影响随机性与认知性不确定性解耦的质量？
• RQ2 在模型推理过程中，随机性与认知性不确定性在多大程度上相互作用？这是否违背理论假设？
• RQ3 在不同方法下，随机性不确定性估计在分布外设置下的可靠性如何？
• RQ4 Softmax采样函数中样本数（N）对不确定性近似和分类准确率有何影响？
• RQ5 β-NLL损失能否同时提升随机性与认知性不确定性估计，并增强解耦质量？

主要发现

• Flipout即使在分布外情况下也产生接近零的认知性不确定性，表明其解耦行为存在根本性缺陷。
• 在分布外设置下，随机性不确定性估计不可靠，模型常输出恒定方差。
• 使用β-NLL损失训练的集成方法在回归与分类任务中均实现了最佳的解耦质量。
• Softmax采样函数中的样本数（N）必须超过100，才能最小化近似误差并防止误分类。
• 认知性不确定性对不确定性量化方法敏感，而随机性不确定性也意外地受方法选择影响，违背了理论假设。
• β-NLL损失同时改善了随机性与认知性不确定性估计，其适用范围扩展至此前仅用于随机性不确定性的场景。