[論文レビュー] SegmentMeIfYouCan: A Benchmark for Anomaly Segmentation

Robin Chan, Krzysztof Lis+7 more|arXiv (Cornell University)|Apr 30, 2021

Anomaly Detection Techniques and Applications参考文献 51被引用数 72

ひとこと要約

SegmentMeIfYouCan を紹介する、道路シーンにおける異常と障害物のセグメンテーションの実世界ベンチマークで、二つのデータセット（RoadAnomaly21 と RoadObstacle21）、公開リーダーボード、ピクセルレベルおよびコンポーネントレベルの指標を対象とした総合的な評価スイートを含む。

ABSTRACT

State-of-the-art semantic or instance segmentation deep neural networks (DNNs) are usually trained on a closed set of semantic classes. As such, they are ill-equipped to handle previously-unseen objects. However, detecting and localizing such objects is crucial for safety-critical applications such as perception for automated driving, especially if they appear on the road ahead. While some methods have tackled the tasks of anomalous or out-of-distribution object segmentation, progress remains slow, in large part due to the lack of solid benchmarks; existing datasets either consist of synthetic data, or suffer from label inconsistencies. In this paper, we bridge this gap by introducing the "SegmentMeIfYouCan" benchmark. Our benchmark addresses two tasks: Anomalous object segmentation, which considers any previously-unseen object category; and road obstacle segmentation, which focuses on any object on the road, may it be known or unknown. We provide two corresponding datasets together with a test suite performing an in-depth method analysis, considering both established pixel-wise performance metrics and recent component-wise ones, which are insensitive to object sizes. We empirically evaluate multiple state-of-the-art baseline methods, including several models specifically designed for anomaly / obstacle segmentation, on our datasets and on public ones, using our test suite. The anomaly and obstacle segmentation results show that our datasets contribute to the diversity and difficulty of both data landscapes.

研究の動機と目的

• 運転シーンにおける意味的異常セグメンテーションのための現実的で多様な実世界データセットを提供する。
• 一貫した注釈を伴う異常物体のセグメンテーションと道路障害物のセグメンテーションの二つのタスクを定義する。
• 小さな異常と大きな異常を評価するために、ピクセルレベルとコンポーネントレベルの堅牢な評価指標を確立する。
• 最先端手法の公正で標準化された比較を可能にする公開リーダーボードを提供する。

提案手法

• 二つのトラックを提案する：RoadAnomaly21（anomaly vs not anomaly、void クラスを含む）と RoadObstacle21（drivable vs non-drivable、void は道路外）。
• 100 枚の RoadAnomaly21 と 327 枚の RoadObstacle21 の画像に、3 クラス（anomaly/obstacle、not anomaly/not obstacle、void）に対するピクセルレベルのラベルを付与する。
• ピクセルレベルの主指標として AuPRC および FPR 95 を用い、ロバストな領域レベル評価のためにコンポーネントごとの sIoU、PPV、および複数閾値で平均化した F1 スコアを併用する。
• ピクセル異常スコアを最適な F1 ベースの閾値でマスクに変換するデフォルトのセグメンテーション手続きを提供し、サイズに基づくフィルタリングを行う（異常は最小 500 px、障害物は最小 50 px）。
• Cityscapes で訓練されたモデル上で、画像分類ベースのスコア、ベイズ的不確実性、補助 OoD データ、再構成ベースのアプローチなど、広範なベースライン手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 合成データや単一シーンのデータセットを超えた、多様な実世界の運転シーンにおいて異常および障害物セグメンテーション手法はどのように性能を発揮するか？
• RQ2 小さな異常と大きな異常に対して、ピクセルレベルの指標はコンポーネントレベルの定位品質と一致するか？
• RQ3 ドメインシフトとデータの多様性が異常/障害物セグメンテーションの性能に与える影響は何か？
• RQ4 公開リーダーボードと標準化されたプロトコルは、異常セグメンテーションの最先端手法の公正な比較を促進できるか？
• RQ5 異なる方法論クラス（不確実性ベース、密度ベース、再構成ベース）は RoadAnomaly21 と RoadObstacle21 でどのように機能するか？

主な発見

• RoadAnomaly21 および RoadObstacle21 は、画像分類向けに設計された方法が運転シーンの異常/障害物セグメンテーションではしばしば性能不足であることを示している。
• ドメインシフトは、これらの実世界ベンチマークに適用した場合、いくつかの手法の異常検出性能を低下させる。
• 再構成ベースおよびエントロピー最大化アプローチは高いコンポーネントレベルの性能を達成し、領域対応評価の価値を浮き彫りにしている。
• このベンチマークは多様で実世界のデータを提供し、物体サイズのばらつきが大きく、現行モデルを挑戦させ、堅牢なリーダーボードを支援する。
• 既存データセットと比べて、RoadAnomaly21 は異常のサイズと場所の分布が広く、RoadObstacle21 は夜間や雪などの多様な条件を含む道路中心の条件を強調する。