[论文解读] Discriminative out-of-distribution detection for semantic segmentation

Petra Bevandić, Ivan Krešo+2 more|arXiv (Cornell University)|Aug 23, 2018

Advanced Image and Video Retrieval Techniques参考文献 23被引用 45

一句话总结

本文提出一个专用的 OOD 检测器，训练以区分来自广泛背景（ILSVRC）的分布内像素与背景像素，以在语义分割中识别 OOD 像素，并在比以往方法更优的 OOD 检测性能。

ABSTRACT

Most classification and segmentation datasets assume a closed-world scenario in which predictions are expressed as distribution over a predetermined set of visual classes. However, such assumption implies unavoidable and often unnoticeable failures in presence of out-of-distribution (OOD) input. These failures are bound to happen in most real-life applications since current visual ontologies are far from being comprehensive. We propose to address this issue by discriminative detection of OOD pixels in input data. Different from recent approaches, we avoid to bring any decisions by only observing the training dataset of the primary model trained to solve the desired computer vision task. Instead, we train a dedicated OOD model which discriminates the primary training set from a much larger "background" dataset which approximates the variety of the visual world. We perform our experiments on high resolution natural images in a dense prediction setup. We use several road driving datasets as our training distribution, while we approximate the background distribution with the ILSVRC dataset. We evaluate our approach on WildDash test, which is currently the only public test dataset that includes out-of-distribution images. The obtained results show that the proposed approach succeeds to identify out-of-distribution pixels while outperforming previous work by a wide margin.

研究动机与目标

• 在现实世界驾驶场景中动机健壮的 OOD 检测，因为封闭世界假设失效。
• 提出一个判别式、全卷积的 OOD 检测器，与主分割模型独立训练。
• 使用一个大型背景数据集（ILSVRC）来近似可视世界的多样性，并将 OOD 与分布内数据分离。
• 在若干基线方法和 road-driving 与 WildDash 数据集上评估该方法，以证明改进的 OOD 检测性能。

提出的方法

• 训练一个专用的 OOD 检测器，对来自 road-driving 数据集的分布内像素（ID）与来自 ILSVRC 的分布外像素（OOD）进行逐像素二元分类。
• 使用基于 DenseNet-121 的特征提取器，来自 ILSVRC 的预训练初始化，并仅微调选定层（DB4 和 T3）以及 OOD 头，以区分 road-driving 场景与通用背景。
• 将来自 ID 与 OOD 的图像裁剪拼成混合批次，批量为 512x512，过采样 ID 数据以平衡训练，并将所有 ILSVRC 像素标注为 OOD，而 road-driving 像素为 ID。
• 将 OOD 模型与主分割模型（Cityscapes、Vistas、WildDash）共同训练，以比较密集 OOD 检测性能与 max-softmax、ODIN 及训练信心度基线。
• 在 WildDash 测试上使用平均精度（AP）来评估 OOD 检测，包含两种变体：将所有负样本图像考虑在内和排除被修改的负样本。

实验结果

研究问题

• RQ1 一个在大规模背景数据集（ILSVRC）上训练的判别式、与任务无关的 OOD 检测器，是否能够可靠地在语义分割任务中识别 OOD 像素？
• RQ2 将 OOD 检测与主分割模型分离，是否比共同将不确定性策略应用于主模型获得更高的 OOD 检测性能？
• RQ3 用不同的分布数据集（Cityscapes、Cityscapes+WildDash、Vistas）训练 OOD 检测器，对 WildDash 与其他数据集的 OOD 检测性能有何影响？
• RQ4 在用于 OOD 检测的背景数据集（如 ILSVRC）对各种道路驾驶和室内/室外场景的影响如何？
• RQ5 当将传统的图像宽度 OOD 方法（max-softmax、ODIN、训练信心）应用于密集预测时，与提出的判别式方法相比表现如何？

主要发现

• 在 WildDash 的 OOD 检测中，使用 ILSVRC 作为背景训练的判别式 OOD 检测器显著优于 max-softmax 和其他适配基线的性能（AP）。
• 用多样的背景数据（尤其包括 WildDash 验证集）训练 OOD 检测器可获得最佳 OOD 检测性能，显示在训练中包含具有挑战性的样本的好处。
• 用 Vistas 作为 ID 数据训练的模型在 OOD 检测方面表现强劲，而仅使用 Cityscapes 可能导致过拟合并对 WildDash 的泛化较差。
• 在 ILSVRC 与道路驾驶数据集联合训练时，获得最佳的 OOD 检测性能，在各种测试设置下相比基线有显著的 AP 增益。
• 该方法凸显了全面的背景分布和像素级 OOD 标注在提高密集预测中的认知不确定性估计方面的重要性。