[논문 리뷰] Generalized Out-of-Distribution Detection: A Survey

Jingkang Yang, Kaiyang Zhou외 2명|arXiv (Cornell University)|2021. 10. 21.

Anomaly Detection Techniques and Applications참고 문헌 177인용 수 323

한 줄 요약

포괄적인 OOD 탐지 조사로서 OSR과 Open-World Recognition의 차이를 명확히 하고, 기초 모델을 통합하며, 벤치마킹 관행과 이론적 기초를 제시하고, 실용적인 가이드라인과 OpenOOD 리소스를 제공합니다.

ABSTRACT

Out-of-distribution (OOD) detection is critical to ensuring the reliability and safety of machine learning systems. For instance, in autonomous driving, we would like the driving system to issue an alert and hand over the control to humans when it detects unusual scenes or objects that it has never seen during training time and cannot make a safe decision. The term, OOD detection, first emerged in 2017 and since then has received increasing attention from the research community, leading to a plethora of methods developed, ranging from classification-based to density-based to distance-based ones. Meanwhile, several other problems, including anomaly detection (AD), novelty detection (ND), open set recognition (OSR), and outlier detection (OD), are closely related to OOD detection in terms of motivation and methodology. Despite common goals, these topics develop in isolation, and their subtle differences in definition and problem setting often confuse readers and practitioners. In this survey, we first present a unified framework called generalized OOD detection, which encompasses the five aforementioned problems, i.e., AD, ND, OSR, OOD detection, and OD. Under our framework, these five problems can be seen as special cases or sub-tasks, and are easier to distinguish. We then review each of these five areas by summarizing their recent technical developments, with a special focus on OOD detection methodologies. We conclude this survey with open challenges and potential research directions.

연구 동기 및 목표

• OSR, 열린 세계 인식 및 관련 패러다임 간의 관계를 명확히 한다.
• 입력(X)과 라벨(Y)의 분포 변화로 OOD 탐지를 위한 통합 프레임워크를 개략한다.
• 핵심 방법, 벤치마크, 데이터셋을 조사하고 OpenOOD 및 실용적 실험 지침을 논의한다.
• 기초 모델과 컨포멀 예측이 OOD 탐지에서 어떤 역할을 하는지 논의하고, 향후 방향을 식별한다.

제안 방법

• 분포 P(X)와 P(Y) 및 그 변화(공변량 vs 의미론적)를 형식적으로 정의한다.
• 일반 프레임워크에서 OOD 작업을 분류하고 관련 설정(OSR, AD/ND)과의 차이를 비교한다.
• 기초 모델 기반 접근법과 제로샷/탐지 기법을 포함한 최근 방법들을 요약한다.
• 벤치마킹 관행과 현실 세계 데이터셋을 논의하고 OpenOOD를 통합 벤치마킹 플랫폼으로 홍보한다.
• 이론적 관점과 OOD 신뢰도 도구로 컨포멀 예측의 잠재적 활용을 논의한다.

실험 결과

연구 질문

• RQ1 OSR, 열린 세계 인식 및 OOD 탐지를 하나의 프레임워크로 통합할 수 있는가?
• RQ2 공변량 변화와 의미론적 변화가 OOD 탐지기의 성능에 미치는 영향은 무엇이며, 전체 스펙트럼의 OOD로 일반화할 수 있는가?
• RQ3 기초 모델과 비전-언어 모델이 OOD 탐지에 어떤 영향을 미치고, 어떤 튜닝 전략이 성능에 도움이나 해를 주는가?
• RQ4 현실 세계의 OOD 도전을 가장 잘 반영하는 벤치마크와 데이터셋은 무엇이며 벤치마크는 어떻게 수행되어야 하는가?
• RQ5 현대 모델에서 OOD 탐지에 적용 가능한 이론적 기초와 확률적 보장은 무엇인가?

주요 결과

• 현재 탐지기들은 공변량 변화에 비해 의미론적 변화에 대해 덜 민감한 경향이 있어 전체 스펙트럼의 OOD 고려가 필요함을 시사한다.
• 개방형 세계와 기초 모델에 대한 논의가 점점 더 중요해지고 있으며, OpenOOD는 통합 벤치마킹 프레임워크와 보고서를 제공한다.
• 컨포멀 예측은 OOD 맥락에서 신뢰도 측정치를 제공하는 유망한 도구로 식별된다.
• 벤치마킹은 현실적인 데이터셋(WILDS, ImageNet 벤치마크 보정 등)과 실제 세계 시나리오를 강조해야 한다.
• 이 연구는 대형 다중 모달 모델 및 세계 모델과의 연계를 통해 OOD 탐지의 신뢰성을 높일 필요가 있음을 강조한다.