[논문 리뷰] SegmentMeIfYouCan: A Benchmark for Anomaly Segmentation

Robin Chan, Krzysztof Lis외 7명|arXiv (Cornell University)|2021. 04. 30.

Anomaly Detection Techniques and Applications참고 문헌 51인용 수 72

한 줄 요약

SegmentMeIfYouCan를 도입하는 현실 세계 벤치마크로, 도로 장면에서의 이상 및 장애물 분할을 다루며 두 가지 데이터셋(RoadAnomaly21 및 RoadObstacle21), 공개 리더보드, 그리고 픽셀- 및 구성요소 수준 측정을 위한 포괄적 평가 체계를 제공합니다.

ABSTRACT

State-of-the-art semantic or instance segmentation deep neural networks (DNNs) are usually trained on a closed set of semantic classes. As such, they are ill-equipped to handle previously-unseen objects. However, detecting and localizing such objects is crucial for safety-critical applications such as perception for automated driving, especially if they appear on the road ahead. While some methods have tackled the tasks of anomalous or out-of-distribution object segmentation, progress remains slow, in large part due to the lack of solid benchmarks; existing datasets either consist of synthetic data, or suffer from label inconsistencies. In this paper, we bridge this gap by introducing the "SegmentMeIfYouCan" benchmark. Our benchmark addresses two tasks: Anomalous object segmentation, which considers any previously-unseen object category; and road obstacle segmentation, which focuses on any object on the road, may it be known or unknown. We provide two corresponding datasets together with a test suite performing an in-depth method analysis, considering both established pixel-wise performance metrics and recent component-wise ones, which are insensitive to object sizes. We empirically evaluate multiple state-of-the-art baseline methods, including several models specifically designed for anomaly / obstacle segmentation, on our datasets and on public ones, using our test suite. The anomaly and obstacle segmentation results show that our datasets contribute to the diversity and difficulty of both data landscapes.

연구 동기 및 목표

• 운전 장면에서의 의미론적 이상 분할을 위한 현실적이고 다양한 현실 세계 데이터셋을 제공합니다.
• 일관된 주석을 갖춘 이상 객체 분할과 도로 장애물 분할의 두 가지 작업을 정의합니다.
• 작고 큰 이상을 평가하기 위해 픽셀 수준과 구성요소 수준의 견고한 평가 지표를 확립합니다.
• 최신 방법의 공정하고 표준화된 비교를 가능하게 하는 공개 리더보드를 제공합니다.

제안 방법

• 두 개의 트랙 제안: RoadAnomaly21 (anomaly vs not anomaly와 void 클래스를 포함) 및 RoadObstacle21 (drivable vs non-drivable로, 도로 외부의 void를 포함).
• 100개의 RoadAnomaly21 이미지와 327개의 RoadObstacle21 이미지를 세 가지 클래스( anomaly/obstacle, not anomaly/not obstacle, void )로 픽셀 수준 레이블로 주석화합니다.
• 주요 픽셀 단위 지표로 픽셀 수준 AuPRC와 FPR 95를 사용하고, 구성요소별 sIoU, PPV, 다중 임계값에서 평균된 F1 점수를 더하여 견고한 영역 수준 평가를 제공합니다.
• 최적의 F1 기반 임계값을 통해 픽셀 이상 점수를 마스크로 변환하는 기본 분할 절차를 제공하고, 크기 기반 필터링(이상은 최소 500 px, 장애물은 최소 50 px)을 적용합니다.
• Cityscapes에서 학습된 모델에 대해 이미지 분류 기반 점수, 베이지안 불확실성, 보조 OoD 데이터, 재구성 기반 접근 등 광범위한 기본 방법을 평가합니다.

실험 결과

연구 질문

• RQ1 합성 데이터나 단일 장면 데이터셋을 넘어 다양한 현실 세계 운전 장면에서 이상 및 장애물 분할 방법의 성능은 어떠한가요?
• RQ2 작은 이상과 큰 이상에 대해 픽셀 단위 지표가 구성요소 단위 위치 정확도와 일치합니까?
• RQ3 도메인 시프트와 데이터 다양성이 이상/장애물 분할 성능에 미치는 영향은 무엇인가요?
• RQ4 공개 리더보드와 표준화된 프로토콜이 이상 분할에서 최첨단 방법의 공정한 비교를 촉진할 수 있나요?
• RQ5 다른 방법론적 분류(불확실성 기반, 밀도 기반, 재구성 기반)가 RoadAnomaly21과 RoadObstacle21에서 어떻게 작동하나요?

주요 결과

• RoadAnomaly21 및 RoadObstacle21은 이미지 분류를 위해 설계된 방법이 운전 장면의 이상/장애물 분할에서 종종 성능이 떨어진다는 것을 보여줍니다.
• 도메인 시프트는 이러한 현실 세계 벤치마크에 적용될 때 여러 방법의 이상 탐지 성능을 저하시킵니다.
• 재구성 기반 및 엔트로피 최대화 접근법은 구성요소별에서 강한 성능을 달성하여 영역 인식 평가의 가치를 강조합니다.
• 이 벤치마크는 다양한 현실 세계 데이터와 높은 객체 크기 가변성을 제공하여 현재 모델에 도전하고 견고한 리더보드를 지원합니다.
• 기존 데이터셋과 비교할 때 RoadAnomaly21은 이상 크기와 위치 분포가 넓고, RoadObstacle21은 밤, 눈을 포함한 다양하고 도로 중심의 조건을 강조합니다.