[논문 리뷰] OpenOOD: Benchmarking Generalized Out-of-Distribution Detection

Jingkang Yang, Pengyun Wang외 14명|arXiv (Cornell University)|2022. 10. 13.

Anomaly Detection Techniques and Applications인용 수 86

한 줄 요약

OpenOOD는 이상 탐지, 오픈 집합 인식 및 분포 밖 탐지 방법을 평가하기 위한 통합적이고 일반화된 벤치마크 및 코드베이스를 제공하여 9개의 벤치마크와 35개 방법에 걸친 경향을 보여준다.

ABSTRACT

Out-of-distribution (OOD) detection is vital to safety-critical machine learning applications and has thus been extensively studied, with a plethora of methods developed in the literature. However, the field currently lacks a unified, strictly formulated, and comprehensive benchmark, which often results in unfair comparisons and inconclusive results. From the problem setting perspective, OOD detection is closely related to neighboring fields including anomaly detection (AD), open set recognition (OSR), and model uncertainty, since methods developed for one domain are often applicable to each other. To help the community to improve the evaluation and advance, we build a unified, well-structured codebase called OpenOOD, which implements over 30 methods developed in relevant fields and provides a comprehensive benchmark under the recently proposed generalized OOD detection framework. With a comprehensive comparison of these methods, we are gratified that the field has progressed significantly over the past few years, where both preprocessing methods and the orthogonal post-hoc methods show strong potential.

연구 동기 및 목표

• 일반화된 OOD 탐지를 위한 통합되고 잘 구성된 벤치마크를 만들어 관련 작업(AD, OSR, OOD) 간 공정한 비교를 가능하게 한다.
• 관련 분야의 35개 방법을 구현한 포괄적이고 손쉽게 확장 가능한 코드베이스(OpenOOD)를 제공하여 공정한 평가를 보장한다.
• ID/OOD 구분의 자세한 분석을 가능하게 하기 위해 near-OOD와 far-OOD 구분을 가진 9개 벤치마크를 설계한다.
• 전처리, 데이터 사용, 사후 분석(post-hoc) 대 훈련 기반 방법에 대한 실증적 통찰을 제공하여 향후 연구를 지도한다.

제안 방법

• 공통 실험 프레임워크를 갖춘 OpenOOD 코드베이스를 구축하여 AD, OSR, OOD 탐지 및 모델 불확실성의 35개 방법을 통합한다.
• 일반화된 OOD 탐지 프레임워크 하에 near-OOD 및 far-OOD 시나리오를 포함하는 AD, OSR, OOD 탐지를 아우르는 9개의 벤치마크를 제공한다.
• 전처리, 모델 백본, 학습/테스트 프로토콜을 표준화하여 방법 간 공정한 비교를 보장한다.
• 공통 지표(FPR@95, AUROC, AUPR)를 사용해 방법을 평가하되 주로 AUROC에 초점을 둔다.
• 단순 전처리의 효과, 추가 데이터의 역할, 사후 분석(post-hoc) 대 훈련 기반 접근의 영향과 같은 경향을 분석한다.

실험 결과

연구 질문

• RQ1 다양한 OOD 관련 방법들이 AD, OSR, OOD 작업에서 통합된 일반화된 OOD 벤치마크 하에서 어떻게 성능을 발휘하는가?
• RQ2 일반화된 OOD 탐지에서 간단한 전처리나 사후(post-hoc) 방법이 훈련 기반 접근법과 비교해 경쟁력 있는 성능을 보이는가?
• RQ3 추가 외부 이상치 데이터 사용이 OOD 탐지 성능에 미치는 영향은 무엇이며, near-OOD와 far-OOD 시나리오는 실제로 어떻게 다른가?
• RQ4 OSR 벤치마크가 방법의 효율성과 ID 정확도 측면에서 OOD 탐지 벤치마크와 어떻게 정렬되는가?

주요 결과

• 사후 분석(post-hoc) 및 전처리 방법이 일반화 벤치마크에서 더 많이 학습된 접근법을 종종 능가한다.
• 추가 외부 이상치 데이터는 일관되게 성능을 향상시키지 않으며 장점은 데이터세트에 의존한다.
• 데이터 증강 및 모델 불확실성 방법(예: PixMix, Mixup, 앙상블)이 벤치마크 전반에서 강한 성능을 보인다.
• ImageNet 기반 평가가 CIFAR 기반보다 더 높은 AUROC 점수를 보여 데이터셋의 복잡도 영향이 있음을 시사한다.
• OSR 결과는 near-OOD 성능과 정렬되는 경향이 있어 OSR과 OOD 탐지 간의 공통된 과제가 있음을 시사한다.
• OpenOOD 프레임워크는 공정한 비교를 가능하게 하며, 단순하고 실용적인 기법이 상당한 이득을 낼 수 있음을 강조한다.