[论文解读] SegmentMeIfYouCan: A Benchmark for Anomaly Segmentation

Robin Chan, Krzysztof Lis+7 more|arXiv (Cornell University)|Apr 30, 2021

Anomaly Detection Techniques and Applications参考文献 51被引用 72

一句话总结

引入 SegmentMeIfYouCan，一个用于道路场景中的异常和障碍物分割的现实世界基准，包含两个数据集 RoadAnomaly21 和 RoadObstacle21，一个公开排行榜，以及一个面向像素级和组件级指标的全面评估套件。

ABSTRACT

State-of-the-art semantic or instance segmentation deep neural networks (DNNs) are usually trained on a closed set of semantic classes. As such, they are ill-equipped to handle previously-unseen objects. However, detecting and localizing such objects is crucial for safety-critical applications such as perception for automated driving, especially if they appear on the road ahead. While some methods have tackled the tasks of anomalous or out-of-distribution object segmentation, progress remains slow, in large part due to the lack of solid benchmarks; existing datasets either consist of synthetic data, or suffer from label inconsistencies. In this paper, we bridge this gap by introducing the "SegmentMeIfYouCan" benchmark. Our benchmark addresses two tasks: Anomalous object segmentation, which considers any previously-unseen object category; and road obstacle segmentation, which focuses on any object on the road, may it be known or unknown. We provide two corresponding datasets together with a test suite performing an in-depth method analysis, considering both established pixel-wise performance metrics and recent component-wise ones, which are insensitive to object sizes. We empirically evaluate multiple state-of-the-art baseline methods, including several models specifically designed for anomaly / obstacle segmentation, on our datasets and on public ones, using our test suite. The anomaly and obstacle segmentation results show that our datasets contribute to the diversity and difficulty of both data landscapes.

研究动机与目标

• 提供真实、多样的现实世界数据集，用于驾乘场景的语义异常分割。
• 定义两个任务——异常对象分割和道路障碍分割——并给出一致的注释。
• 建立在像素级和组件级进行鲁棒评估的指标，以评估小型与大型异常。
• 提供公开排行榜，以实现对最先进方法的公平、标准化比较。

提出的方法

• 提出两条轨道：RoadAnomaly21（异常与非异常，包含一个 void 类）和 RoadObstacle21（可行驶 vs 不可行驶，路外有 void）。
• 用像素级标签在三类上对 100 张 RoadAnomaly21 和 327 张 RoadObstacle21 图像进行标注（异常/障碍、非异常/非障碍、void）。
• 以像素级 AuPRC 和 FPR 95 作为主要像素级指标，外加组件级 sIoU、PPV，以及在多个阈值上取平均的 F1 分数，以实现鲁棒的区域级评估。
• 提供一个默认分割过程，将像素异常分数通过一个基于最优 F1 的阈值转换为掩码，并进行基于大小的过滤（异常最小 500 像素，障碍最小 50 像素）。
• 在 Cityscapes 训练模型上评估大量基线方法，涵盖基于图像分类的分数、贝叶斯不确定性、辅助 OoD 数据，以及基于重建的方法。

实验结果

研究问题

• RQ1 方法在多样化的真实驾驶场景中对异常和障碍分割的表现如何，超越合成数据或单一场景的数据集？
• RQ2 像素级指标是否与对小型 vs 大型异常的组件级定位质量相一致？
• RQ3 域偏移和数据多样性对异常/障碍分割性能有何影响？
• RQ4 公共排行榜和标准化协议能否促进对最先进异常分割方法的公平比较？
• RQ5 不同的方法学类别（基于不确定性、基于密度、基于重建）在 RoadAnomaly21 和 RoadObstacle21 上的表现如何？

主要发现

• RoadAnomaly21 和 RoadObstacle21 表明，为图像分类设计的方法在驾驶场景的异常/障碍分割任务上往往表现不佳。
• 当应用于这些现实世界基准时，域偏移降低了多种方法的异常检测性能。
• 基于重建和熵最大化的方法在组件级表现出色，凸显区域感知评估的价值。
• 基准提供多样的现实世界数据，目标对象尺寸变异大，具有挑战性，并支持健壮的排行榜。
• 与现有数据集相比，RoadAnomaly21 的异常尺寸和位置分布更广，而 RoadObstacle21 强调以道路为中心、条件多样，包括夜晚和降雪。