[论文解读] Efficacy of Pixel-Level OOD Detection for Semantic Segmentation

Matt Angus, Krzysztof Czarnecki+1 more|arXiv (Cornell University)|Nov 7, 2019

Advanced Neural Network Applications参考文献 23被引用 6

一句话总结

该论文将最先进的图像级分布外（OOD）检测方法——最大Softmax、ODIN、马氏距离和置信度——适配至语义分割中的像素级OOD检测，引入了一项新度量（MaxIoU）和两个自定义数据集。研究发现，图像级OOD检测的性能排名无法迁移至像素级检测，且所有方法在像素级的表现均显著劣于其图像级对应方法。

ABSTRACT

The detection of out of distribution samples for image classification has been widely researched. Safety critical applications, such as autonomous driving, would benefit from the ability to localise the unusual objects causing the image to be out of distribution. This paper adapts state-of-the-art methods for detecting out of distribution images for image classification to the new task of detecting out of distribution pixels, which can localise the unusual objects. It further experimentally compares the adapted methods on two new datasets derived from existing semantic segmentation datasets using PSPNet and DeeplabV3+ architectures, as well as proposing a new metric for the task. The evaluation shows that the performance ranking of the compared methods does not transfer to the new task and every method performs significantly worse than their image-level counterparts.

研究动机与目标

• 通过将图像级OOD检测方法适配至像素级别，实现在语义分割中实现局部化的OOD检测。
• 应对自动驾驶等安全关键型应用，其中识别分布外物体（如道路上的意外集装箱）至关重要。
• 评估在适配至像素级检测时，顶尖图像级OOD检测方法是否仍保持其有效性。
• 提出一种新评估度量MaxIoU，通过结合OOD检测与语义分割性能，专为像素级OOD检测设计。
• 构建两个源自Cityscapes和IDD的新基准数据集，包含分布内与分布外像素，用于评估。

提出的方法

• 将四种顶尖图像级OOD检测方法——最大Softmax、ODIN、马氏距离和置信度——适配至语义分割网络的逐像素特征上运行。
• 应用架构修改，如1×1卷积层（降维），以降低特征维度，便于计算马氏距离。
• 利用PSPNet和DeeplabV3+的倒数第二层激活特征，通过马氏距离、温度缩放（ODIN）或最大Softmax概率计算OOD得分。
• 提出MaxIoU，一种新度量，结合OOD预测的IoU与分布内分割准确率，同时评估定位精度与分类保真度。
• 采用阈值无关的评估度量（如AUC、FPR95），在不同OOD检测阈值下评估OOD检测性能。
• 通过在Cityscapes和IDD的真实场景中插入分布外物体（如集装箱、动物）生成两个新数据集，保留真实上下文与类别重叠。

实验结果

研究问题

• RQ1 最先进的图像级OOD检测方法能否有效适配至语义分割中的分布外像素检测？
• RQ2 图像级OOD检测方法的性能排名在迁移至像素级检测任务时是否依然成立？
• RQ3 不同OOD检测方法在多种分割架构与数据集上的定位准确率与鲁棒性如何比较？
• RQ4 经典计算机视觉技术（如形态学操作）在通过去除类别边界处的误报来提升OOD检测性能方面，效果如何？
• RQ5 像素级OOD检测器的主要失效模式是什么？与图像级对应方法相比有何不同？

主要发现

• 图像级OOD检测方法的性能排名无法迁移至像素级任务；在图像级表现优异的方法（如ODIN和马氏距离）在像素级并不总是占优。
• 所有像素级OOD检测方法的表现均显著劣于其图像级对应方法，表明从图像级分析转向像素级分析时检测能力出现显著下降。
• 在SUN数据集上，使用PSPNet时，ODIN和马氏距离表现最佳，显著优于VarSum、互信息和置信度方法。
• 在IDD数据集上，使用DeeplabV3+时，互信息方法表现最佳，其他方法紧随其后，表明方法有效性因网络架构与数据而异。
• 对OOD预测图应用经典计算机视觉技术（如腐蚀、膨胀）仅使AUC提升约0.001，表明在边界精炼方面实际收益极小。
• 主要失效模式是将洪水淹没的道路或阴影误判为分布内，而错误地将类别边界标记为OOD，凸显未来方法亟需更好的歧义消除能力。