[论文解读] Deep Deterministic Uncertainty for Semantic Segmentation

Jishnu Mukhoti, Joost van Amersfoort+2 more|arXiv (Cornell University)|Oct 29, 2021

Adversarial Robustness in Machine Learning参考文献 21被引用 13

一句话总结

该论文将深度确定性不确定性（DDU）扩展至语义分割任务，实现了在单次前向传播中高效估计认知不确定性与随机不确定性。通过利用与像素位置无关的类别特诊空间密度，DDU在Pascal VOC 2012上实现了最先进的不确定性校准效果，推理速度与标准模型相当，且在准确率与运行时间上均优于MC Dropout与深度集成方法。

ABSTRACT

We extend Deep Deterministic Uncertainty (DDU), a method for uncertainty estimation using feature space densities, to semantic segmentation. DDU enables quantifying and disentangling epistemic and aleatoric uncertainty in a single forward pass through the model. We study the similarity of feature representations of pixels at different locations for the same class and conclude that it is feasible to apply DDU location independently, which leads to a significant reduction in memory consumption compared to pixel dependent DDU. Using the DeepLab-v3+ architecture on Pascal VOC 2012, we show that DDU improves upon MC Dropout and Deep Ensembles while being significantly faster to compute.

研究动机与目标

• 为自动驾驶与医学影像等安全关键应用中的语义分割提供可靠的不确定性量化方法。
• 解决传统不确定性方法（如MC Dropout与深度集成）在密集预测任务中计算成本过高的问题。
• 将原本针对分类任务设计的DDU扩展至语义分割，同时保持高效性与准确性。
• 证明基于像素无关的特征空间密度估计在语义分割不确定性估计中是可行且有效的。
• 在不确定性校准、准确率与推理速度方面，验证DDU相较于强基线方法的性能表现。

提出的方法

• 通过一次遍历训练数据，计算类别特诊空间的均值与协方差矩阵，假设特征表示在空间位置上保持不变。
• 应用高斯判别分析（GDA）建模边缘特征密度 p(z) = Σ_c p(z|c)p(c)，其中 p(z|c) 为类别条件密度，p(c) 为类别先验。
• 将计算得到的特征密度用作认知不确定性的代理指标，密度越低表示不确定性越高。
• 通过Softmax输出分布的熵估计随机不确定性，以捕捉观测噪声与语义模糊性。
• 采用全卷积神经网络架构（DeepLab-v3+），并引入双-Lipschitz归纳偏置，防止特征崩溃，确保密度估计的稳定性。
• 实现在单次前向传播中完成不确定性估计，避免了多次随机前向传播或集成推理的需要。

实验结果

研究问题

• RQ1 DDU能否有效扩展至语义分割任务，以满足密集像素级预测的需求？
• RQ2 是否可行使用类别特诊的、与像素无关的统计量，而非逐像素统计量，来计算语义分割中的特征空间密度？
• RQ3 在语义分割任务中，DDU的不确定性校准性能是否优于MC Dropout与深度集成方法？
• RQ4 DDU能否在显著快于需多次前向传播的基线方法的同时，保持高准确率？
• RQ5 在真实分割场景中，DDU对认知不确定性与随机不确定性的解耦效果如何？

主要发现

• 在Pascal VOC 2012验证集上，DDU在所有不确定性阈值下，均实现了最先进的不确定性校准指标表现——p(accurate—certain)、p(uncertain—inaccurate)与PAVPU。
• 单次DDU前向传播的运行时间约为263毫秒，显著快于MC Dropout（1.57秒），且与标准推理时间相当。
• 尽管具备速度优势，DDU仍保持83.6%的验证集mIoU，与其他模型相当，表明准确率未受影响。
• 可视化结果表明，DDU的特征密度能有效捕捉未见过或模糊区域的认知不确定性，而Softmax熵则能捕捉物体边缘处的随机不确定性。
• 该方法成功实现了认知不确定性与随机不确定性的解耦，认知不确定性在大范围预测错误区域显著上升，而此类区域在基于熵的方法中未被充分捕捉。
• 实证分析证实，同一类别在不同图像位置的特征空间均值彼此更接近，而不同类别间则差异明显，验证了像素无关假设的合理性。