[论文解读] Deep Deterministic Uncertainty: A Simple Baseline

Jishnu Mukhoti, Andreas Kirsch+3 more|arXiv (Cornell University)|Feb 23, 2021

Fault Detection and Control Systems被引用 18

一句话总结

本文提出了深度确定性不确定性（DDU），这是一种用于深度学习中不确定性量化的一流基线方法。通过利用残差连接和谱归一化带来的良好正则化特征空间，DDU 仅通过一次前向传播即可实现分布外检测和主动学习的最先进性能，优于 DUQ 和 SNGP 等复杂方法，且无需微调或模型集成。

ABSTRACT

Reliable uncertainty from deterministic single-forward pass models is sought after because conventional methods of uncertainty quantification are computationally expensive. We take two complex single-forward-pass uncertainty approaches, DUQ and SNGP, and examine whether they mainly rely on a well-regularized feature space. Crucially, without using their more complex methods for estimating uncertainty, a single softmax neural net with such a feature-space, achieved via residual connections and spectral normalization, *outperforms* DUQ and SNGP's epistemic uncertainty predictions using simple Gaussian Discriminant Analysis *post-training* as a separate feature-space density estimator -- without fine-tuning on OoD data, feature ensembling, or input pre-procressing. This conceptually simple *Deep Deterministic Uncertainty (DDU)* baseline can also be used to disentangle aleatoric and epistemic uncertainty and performs as well as Deep Ensembles, the state-of-the art for uncertainty prediction, on several OoD benchmarks (CIFAR-10/100 vs SVHN/Tiny-ImageNet, ImageNet vs ImageNet-O) as well as in active learning settings across different model architectures, yet is *computationally cheaper*.

研究动机与目标

• 探究复杂单次前向传播不确定性方法（如 DUQ 和 SNGP）是否主要依赖于良好正则化的特征空间。
• 开发一种概念上简洁的基线方法，无需模型集成、微调或输入预处理即可实现强大的不确定性估计。
• 通过最小化架构结合良好正则化的特征，实现对认知不确定性与随机不确定性的解耦。
• 在多种架构上评估该方法在分布外检测与主动学习基准任务上的表现。

提出的方法

• 训练一个带有残差连接和谱归一化的标准 Softmax 神经网络，以生成良好正则化的特征空间。
• 在最后隐藏层的特征上使用高斯混合模型（GMM）作为后训练密度估计器，以估计认知不确定性。
• 在 logits 上使用 Softmax 交叉熵损失以估计随机不确定性。
• 应用高斯判别分析（GDA）联合建模类别条件密度，以实现不确定性类型的解耦。
• 以标准交叉熵损失端到端训练模型，随后在推理后应用 GMM 和 Softmax 熵进行后处理。
• 避免在分布外数据上进行微调或输入预处理，完全依赖架构正则化与后处理密度估计。

实验结果

研究问题

• RQ1 仅依赖良好正则化特征空间的简单确定性单次前向传播模型，是否能在性能上超越 DUQ 和 SNGP 等复杂不确定性方法？
• RQ2 先进不确定性方法的性能是否主要源于特征空间正则化，而非复杂的不确定性估计机制？
• RQ3 仅通过残差连接与谱归一化构建的最小化架构，是否能够有效实现对随机不确定性与认知不确定性的解耦？
• RQ4 所提出的 DDU 基线方法在多种数据集与架构上，与深度集成模型相比在分布外检测与主动学习任务中的表现如何？
• RQ5 架构归纳偏置（如残差连接、谱归一化）对不确定性量化中特征空间密度估计质量有何影响？

主要发现

• 在 CIFAR-10 与 SVHN/CIFAR-100/Tiny-ImageNet 以及 ImageNet 与 ImageNet-O 的分布外检测基准上，DDU 达到了最先进性能，AUROC 分数分别为 97.86% 和 91.34%。
• 在 CIFAR-100 与 SVHN/Tiny-ImageNet 的对比中，DDU 对 SVHN 的 AUROC 达到 87.53%，对 Tiny-ImageNet 达到 83.13%，优于 SNGP，且与 5 个模型集成的性能相当。
• 在 CIFAR-10 与 SVHN 上，DDU 将期望校准误差（ECE）降低至 0.85±0.04，优于 DUQ（1.55±0.08），并达到最佳方法的水平。
• 在主动学习中，DDU 在多种架构上的表现与深度集成模型相当，展现出优异的不确定性校准能力与预测性能。
• 该方法成功实现了对随机不确定性与认知不确定性的解耦：Softmax 熵能捕捉分布内数据中的模糊性，而特征空间上的 GMM 则能捕捉分布外样本的模型不确定性。
• 若缺乏适当的归纳偏置（如残差连接与谱归一化），特征空间密度估计将因特征坍塌而失效，导致分布内与分布外密度重叠。