[논문 리뷰] Scaling Out-of-Distribution Detection for Real-World Settings

Dan Hendrycks, Steven Basart외 6명|arXiv (Cornell University)|2019. 11. 25.

Anomaly Detection Techniques and Applications참고 문헌 35인용 수 179

한 줄 요약

이 논문은 간단한 MaxLogit 탐지기가 MSP를 대규모 다중 클래스, 다중 레이블, 및 이상 세분화 OOD 작업에서 능가한다는 것을 보여주고, 현실적인 OOD 평가를 위한 새로운 벤치마크(Species 및 CAOS)를 도입한다.

ABSTRACT

Detecting out-of-distribution examples is important for safety-critical machine learning applications such as detecting novel biological phenomena and self-driving cars. However, existing research mainly focuses on simple small-scale settings. To set the stage for more realistic out-of-distribution detection, we depart from small-scale settings and explore large-scale multiclass and multi-label settings with high-resolution images and thousands of classes. To make future work in real-world settings possible, we create new benchmarks for three large-scale settings. To test ImageNet multiclass anomaly detectors, we introduce the Species dataset containing over 700,000 images and over a thousand anomalous species. We leverage ImageNet-21K to evaluate PASCAL VOC and COCO multilabel anomaly detectors. Third, we introduce a new benchmark for anomaly segmentation by introducing a segmentation benchmark with road anomalies. We conduct extensive experiments in these more realistic settings for out-of-distribution detection and find that a surprisingly simple detector based on the maximum logit outperforms prior methods in all the large-scale multi-class, multi-label, and segmentation tasks, establishing a simple new baseline for future work.

연구 동기 및 목표

• 현실적이고 대규모 설정에서의 OOD 탐_detection을 작은 규모 벤치마크 너머로 동기 부여한다.
• 대규모 다중 클래스(ImageNet-21K), 다중 레이블, 및 세분화 OOD 시나리오를 위한 벤치마크를 만든다.
• 기존 베이스라인을 평가하고 현실 세계의 OOD 탐지에 대한 간단하고 강력한 베이스라인을 확립한다.
• ImageNet-21K로 사전학습된 Vision Transformers가 대규모 설정에서의 OOD 탐지를 근본적으로 해결하는지 검토한다.

제안 방법

• MaxLogit 제안: 최대 비정규화 로그it의 음수 값을 OOD 점수로 사용하여 클래스 수 편향을 피한다.
• Species 데이터셋 구성: 70만 장이 넘는 이미지와 1000개 이상의 이상 종으로 이루어진 대규모의 분리된-분포 밖(out-of-distribution) 집합으로 학습/테스트 중 데이터 누출 없이 OOD를 테스트한다.
• PASCAL VOC와 MS-COCO에서 20 ImageNet-21K OOD 클래스를 사용한 다중 레이블 OOD 설정을 개발 및 평가하고, MSP, LogitAvg, MaxLogit를 비교한다.
• CAOS 벤치마크를 StreetHazards(시뮬레이션 기반 이상)와 BDD-Anomaly(실세계 이상)를 결합해 이상 세분화를 위한 벤치마크를 만든다.
• StreetHazards 및 BDD-Anomaly 전반에서 MaxLogit를 MSP, 백그라운드, 드롭아웃, 재구성 AE 기반의 베이스라인과 비교한다.
• ImageNet-21K-P 표현을 ResNet-50, ViT, 및 Mixer 백본으로 활용해 OOD 탐지 성능을 평가한다.

실험 결과

연구 질문

• RQ1 MSP가 수천 클래스에 달하는 대규모 OOD 탐지로 확장될 때 성능이 저하되는가?
• RQ2 MaxLogit가 대규모 다중 클래스 및 다중 레이블 OOD 탐지에서 더 강력하고 보편적인 베이스라인인가?
• RQ3 ImageNet-21K에서 사전학습된 Vision Transformers가 대규모 설정의 OOD 탐지를 본질적으로 해결하는가?
• RQ4 현실 세계 조건에서 OOD를 평가하기 위한 현실적인 벤치마크(Species, CAOS)를 구축할 수 있는가?
• RQ5 주행 장면에서의 이상 세분화에서 OOD 탐지器의 성능은 어떠한가?

주요 결과

• MaxLogit은 대규모 다중 클래스, 다중 레이블, 및 이상 세분화 작업 전반에서 MSP 및 다른 베이스라인을 일관되게 능가한다.
• Species 데이터셋은 ImageNet-21K에서 사전학습된 Vision Transformers가 데이터 누출을 피하기 위한 신중한 평가 없이는 OOD 탐지를 쉽게 해결하지 못한다는 것을 보여준다.
• MaxLogit은 다중 레이블 설정으로 일반화되어 MSP, LogitAvg, 및 고전적 탐지기들보다 우수하다.
• CAOS 벤치마크는 MaxLogit이 MSP, 백그라운드, Dropout, AE 베이스라인보다 픽셀 단위 이상 세분화에서 최상의 성능을 달성함을 보여준다.
• StreetHazards 및 BDD-Anomaly 전반에서 MaxLogit은 강력하고 일관된 개선을 제공하여 현실 세계의 OOD 탐지에 대해 견고한 베이스라인임을 시사한다.