[论文解读] A Benchmark for Anomaly Segmentation.

Dan Hendrycks, Steven Basart+4 more|arXiv (Cornell University)|Nov 25, 2019

Anomaly Detection Techniques and Applications参考文献 34被引用 50

一句话总结

本文提出了用于大规模异常分割的联合异常物体分割（CAOS）基准，结合真实与模拟的驾驶图像，以实现真实且多样的异常检测。提出新颖的分布外（OOD）检测方法，适用于多类别与多标签场景，显著推动了大规模异常分割技术的发展，超越了传统的整图异常检测。

ABSTRACT

Detecting out-of-distribution examples is important for safety-critical machine learning applications such as self-driving vehicles. However, existing research mainly focuses on small-scale images where the whole image is considered anomalous. We propose to segment only the anomalous regions within an image, and hence we introduce the Combined Anomalous Object Segmentation benchmark for the more realistic task of large-scale anomaly segmentation. Our benchmark combines two novel datasets for anomaly segmentation that incorporate both realism and anomaly diversity. Using both real images and those from a simulated driving environment, we ensure the background context and a wide variety of anomalous objects are naturally integrated, unlike before. Additionally, we improve out-of-distribution detectors on large-scale multi-class datasets and introduce detectors for the previously unexplored setting of multi-label out-of-distribution detection. These novel baselines along with our anomaly segmentation benchmark open the door to further research in large-scale out-of-distribution detection and segmentation.

研究动机与目标

• 为填补大规模、实例级异常检测的空白，聚焦于仅分割异常区域，而非将整张图像分类为异常。
• 构建一个真实基准，通过真实与模拟的驾驶数据，将多样化的异常物体整合到自然背景场景中。
• 通过新颖的检测方法，提升大规模多类别数据集上的分布外检测性能。
• 提出并评估此前未探索的多标签分布外检测设置下的检测器。

提出的方法

• 通过结合两个新数据集构建新的基准CAOS：一个来自真实世界驾驶图像，另一个来自模拟驾驶环境。
• 将真实背景场景与各种异常物体相结合，确保场景上下文与异常类型的多样性。
• 提出专为大规模多类别与多标签异常分割任务设计的新分布外检测模型。
• 改进并适配现有OOD检测技术，用于实例级分割，重点聚焦于异常区域的定位。
• 同时使用真实与合成数据，以确保在多种异常类型与环境条件下具备鲁棒性与泛化能力。
• 采用分割头模型，预测像素级异常分数，实现图像中异常物体的精确定位。

实验结果

研究问题

• RQ1 如何通过多样且上下文融合的异常物体，利用真实与模拟驾驶数据，实现大规模异常分割的真实基准测试？
• RQ2 当聚焦于仅分割异常区域而非整张图像分类为异常时，分布外检测性能可实现哪些提升？
• RQ3 现有OOD检测方法在适配至多类别与多标签异常分割设置时表现如何？
• RQ4 模拟数据能否有效支持在真实驾驶场景中训练与评估异常分割模型？

主要发现

• CAOS基准通过结合真实与模拟驾驶数据及多样化的自然融合异常，实现了对异常分割模型更真实的评估。
• 所提出的检测器在大规模多类别异常分割基准上相比先前方法实现了性能提升。
• 本研究首次提出适用于分割任务中多标签分布外检测的有效方法，拓展了OOD研究的范围。
• 模拟数据的整合增强了模型的泛化能力，支持更广泛异常类型与场景上下文的训练。