[论文解读] Dense outlier detection and open-set recognition based on training with noisy negative images

Petra Bevandić, Ivan Krešo+2 more|arXiv (Cornell University)|Jan 22, 2021

Anomaly Detection Techniques and Applications参考文献 43被引用 11

一句话总结

本文提出了一种新颖的密集开放集识别与异常检测方法，通过在内点训练图像上贴入来自多样化通用数据集（如 ImageNet-1k）的噪声负样本进行训练。通过促使模型区分内点区域与随机贴入的负样本块，该方法在多个基准测试中实现了最先进性能，包括 Fishyscapes 和 WildDash 1，同时在 mIoU 和 AUROC 指标上表现优异，并通过单次前向传播实现实时推理。

ABSTRACT

Deep convolutional models often produce inadequate predictions for inputs foreign to the training distribution. Consequently, the problem of detecting outlier images has recently been receiving a lot of attention. Unlike most previous work, we address this problem in the dense prediction context in order to be able to locate outlier objects in front of in-distribution background. Our approach is based on two reasonable assumptions. First, we assume that the inlier dataset is related to some narrow application field (e.g.~road driving). Second, we assume that there exists a general-purpose dataset which is much more diverse than the inlier dataset (e.g.~ImageNet-1k). We consider pixels from the general-purpose dataset as noisy negative training samples since most (but not all) of them are outliers. We encourage the model to recognize borders between known and unknown by pasting jittered negative patches over inlier training images. Our experiments target two dense open-set recognition benchmarks (WildDash 1 and Fishyscapes) and one dense open-set recognition dataset (StreetHazard). Extensive performance evaluation indicates competitive potential of the proposed approach.

研究动机与目标

• 解决在分布偏移条件下，密集预测任务（如语义分割）中检测异常区域的挑战。
• 在无需显式异常标注的情况下，提升模型对未知或分布外输入的泛化能力。
• 开发一种训练策略，利用与测试无关的负样本数据，增强模型对陌生视觉模式的鲁棒性。
• 通过与闭集模型共享特征的多任务架构，实现实时密集开放集识别。
• 在包含大尺寸与小尺寸异常等多种异常类型的多样化基准上评估该方法。

提出的方法

• 通过将来自通用数据集（如 ImageNet-1k）的抖动裁剪块随机贴入内点训练图像，引入噪声负样本。
• 随机贴入负样本块可促使模型学习内点与异常区域之间的空间边界，从而提升对未知区域的定位能力。
• 模型在多任务设置下进行训练，语义分割头与异常检测头共享特征。
• 采用平衡训练策略，每批次中内点与负样本块的比例大致相等，以稳定批量归一化。
• 通过单次前向传播同时完成分割与异常预测，支持实时部署。
• 该方法在所有数据集上统一应用，无需针对特定数据集调整超参数，使用相同的负样本数据集与训练流程。

实验结果

研究问题

• RQ1 使用来自多样化通用数据集的噪声负样本块进行训练，是否能提升语义分割中的密集异常检测性能？
• RQ2 随机贴入负样本块是否能增强模型识别已知区域与未知区域之间空间边界的能⼒？
• RQ3 在闭集分割与开集异常检测之间共享特征，是否能在不降低分割准确率的前提下提升整体性能？
• RQ4 该方法在包含大尺寸与小尺寸异常的基准（如 Fishyscapes Lost and Found 与 WildDash 1）上的表现如何？
• RQ5 该方法是否能在存在显著领域偏移的数据集（如 StreetHazard）上实现良好泛化，而无需微调或调整超参数？

主要发现

• 所提方法在 Fishyscapes Static 基准上实现最先进性能，在官方排行榜中排名第一。
• 在 WildDash 1 上，尽管监督信号更少，该方法仍以接近领先模型的表现位列第二。
• 在 Fishyscapes Lost and Found 上，该方法取得了具有竞争力的 AP（19.74）与 FPR95（56.19）得分，优于最大 softmax 基线。
• 在 StreetHazard 上，该方法取得第二名的 AP 得分（19.74）与具有竞争力的 FPR95（56.19），展现出对大领域偏移的强鲁棒性。
• 在 Fishyscapes 上 AUROC 达 88.86，在 StreetHazard 上达 87.00，表明其具备强大的异常检测能力。
• 在大尺寸异常上显著优于基线方法，而在小尺寸异常上优势减弱，此时结合最大 softmax 可进一步提升性能。