[논문 리뷰] Generalized Out-of-Distribution Detection and Beyond in Vision Language Model Era: A Survey

Atsuyuki Miyai, Jingkang Yang외 11명|arXiv (Cornell University)|2024. 07. 31.

Text and Document Classification Technologies인용 수 4

한 줄 요약

이 종합 검토는 시각어휘모델(VLM) 및 대규모 시각어휘모델(LVLM) 시대의 일반화된 비정상분포 탐지 v2, 즉 OOD 탐지, 이상 탐지(AD), 신규성 탐지(ND), 개방세트 인식(OSR), 이상치 탐지(OD)를 통합하는 프레임워크를 소개한다. 이는 CLIP 및 GPT-4V와 같은 모델이 이끌어낸 패러다임 전환으로 인해 OOD 탐지와 AD가 주요 과제로 떠올랐음을 드러내며, VLM 및 LVLM 시대의 정의 변화, 벤치마크, 방법론, 향후 연구 방향에 대한 종합적인 검토를 제공한다.

ABSTRACT

Detecting out-of-distribution (OOD) samples is crucial for ensuring the safety of machine learning systems and has shaped the field of OOD detection. Meanwhile, several other problems are closely related to OOD detection, including anomaly detection (AD), novelty detection (ND), open set recognition (OSR), and outlier detection (OD). To unify these problems, a generalized OOD detection framework was proposed, taxonomically categorizing these five problems. However, Vision Language Models (VLMs) such as CLIP have significantly changed the paradigm and blurred the boundaries between these fields, again confusing researchers. In this survey, we first present a generalized OOD detection v2, encapsulating the evolution of these fields in the VLM era. Our framework reveals that, with some field inactivity and integration, the demanding challenges have become OOD detection and AD. Then, we highlight the significant shift in the definition, problem settings, and benchmarks; we thus feature a comprehensive review of the methodology for OOD detection and related tasks to clarify their relationship to OOD detection. Finally, we explore the advancements in the emerging Large Vision Language Model (LVLM) era, such as GPT-4V. We conclude with open challenges and future directions. The resource is available at https://github.com/AtsuMiyai/Awesome-OOD-VLM.

연구 동기 및 목표

• 비정상분포(OOD) 탐지, 이상 탐지(AD), 신규성 탐지(ND), 개방세트 인식(OSR), 이상치 탐지(OD)의 다섯 가지 밀접하게 관련된 과제를 시각어휘모델(VLM)의 맥락에서 하나의 진화하는 프레임워크 안에서 통합하고 재정의하는 것.
• CLIP와 같은 VLM 및 GPT-4V와 같은 LVLM가 이끌어낸 패러다임 전환으로 인해 기존의 과제 간 경계가 흔들리고 분야의 核심 과제가 재정의된 이유를 분석하는 것.
• 특히 VLM 기반 방법에 기반하여 OOD 탐지 및 관련 과제의 정의, 문제 설정, 벤치마크의 진화를 명확히 하는 것.
• VLM 시대의 OOD 탐지 및 관련 과제에 대한 방법론을 체계적으로 검토하여 핵심 기법, 기준선, 열린 문제를 부각하는 것.
• 미래 연구 방향을 식별하고 개괄하는 것 — 특히 해결 불가 문제 탐지(UPD), 실세계 벤치마크, LVLM 행동의 이론적 이해 등

제안 방법

• VLM 시대의 진화하는 환경를 반영하여 OOD 탐지, AD, ND, OSR, OD를 하나의 분류 체계에 통합하는 새로운 통합 프레임워크인 일반화된 OOD 탐지 v2를 제안하여 재분류한다.
• CLIP와 같은 VLM를 활용한 OOD 탐지 및 관련 과제의 진화를 검토하여 정의, 문제 설정, 벤치마크 관행의 변화를 분석한다.
• VLM 시대의 OOD 탐지 방법론을 분류하고 비교하며, 특징 기반, 로짓 기반, 불확실성 추정 기법을 포함한 기법들을 다루며, CLIP 기반 및 LVLM 기반 접근에 중점을 둔다.
• 대규모 사전학습 모델과 파라미터 효율적 미세조정(예: DSGF)을 활용한 단모달 OOD 탐지의 활용을 강조하며, OOD 연구 분야에서 사전학습의 광범위한 도입을 촉진한다.
• 표준 벤치마크와 실세계 데이터 시프트 간 격차를 메우기 위해 ImageNet-ES 및 WILDS와 같은 실세계 벤치마크의 도입과 평가를 제안하고 실행한다.
• 미래 방향으로는 LVLM 응답의 난이도를 활용한 해결 불가 문제 탐지(UPD), UPD를 MuirBench와 같은 다양한 벤치마크에 통합하는 것, LVLM의 강인성에 대한 이론적 분석을 제안한다.

실험 결과

연구 질문

• RQ1 CLIP 및 GPT-4V와 같은 모델이 등장한 VLM 시대에 OOD 탐지, AD, ND, OSR, OD의 정의와 문제 설정은 어떻게 진화했는가?
• RQ2 VLM 및 LVLM를 활용한 OOD 탐지에서의 주요 방법론적 발전은 무엇이며, 기존의 단모달 접근과 어떻게 다를까?
• RQ3 왜 일부 분야는 VLM 시대에 활동을 멈추거나 통합되었고, 현재 주요 과제는 무엇인가?
• RQ4 ImageNet-ES 및 WILDS와 같은 실세계 벤치마크는 안전 중심 응용 분야에서 OOD 탐지 평가를 어떻게 향상시킬 수 있는가?
• RQ5 LVLM 시대의 새로운 연구 방향, 특히 해결 불가 문제 탐지(UPD)에 대해 무엇이 있으며, 어떻게 체계화하고 평가할 수 있는가?

주요 결과

• 일반화된 OOD 탐지 v2 프레임워크는 VLM 시대에 OOD 탐지와 이상 탐지(AD)가 주요 과제로 부상했고, ND 및 OSR 분야는 정체성의 감소나 통합을 겪었다는 점을 드러낸다.
• CLIP와 같은 VLM의 출현은 OOD 탐지, AD, ND, OSR, OD 간 경계를 크게 흐리게 했으며, 이들 간의 관계와 차이를 명확히 하기 위해 통합 프레임워크가 필수적임을 시사한다.
• CLIP 기반 OOD 탐지는 대비 학습과 제로샷 일반화를 활용하는 주요 패러다임이 되었지만, 표준 벤치마크와 실세계 데이터 시프트 간 격차를 메우기 위해 ImageNet-ES와 같은 실세계 벤치마크가 필요하다.
• DSGF와 같은 파라미터 효율적 미세조정 기법은 대규모 사전학습 모델을 활용한 단모달 OOD 탐지에서 잠재력을 보이며, 그러나 닫힌세트 분류에 비해 이 분야는 여전히 미비하게 다뤄지고 있다.
• GPT-4V 및 LLaVA와 같은 LVLM의 출현은 OOD 탐지의 새로운 영역을 열었으며, 특히 MCM와 같은 기법과 조합하여 개체 수준의 탐지 및 세그멘테이션을 가능하게 하였다.
• 해결 불가 문제 탐지(UPD)는 핵심적인 신규 과제로 규명되었으며, 응답 난이도와 모델에 종속되지 않는 후행 기법을 활용한 잠재적 해결책이 있으며, MuirBench와 같은 다양한 벤치마크에 통합되어 강건한 평가를 가능하게 해야 한다.