[논문 리뷰] GPT-4V-AD: Exploring Grounding Potential of VQA-oriented GPT-4V for Zero-shot Anomaly Detection

Jiangning Zhang, He, Haoyang외 6명|arXiv (Cornell University)|2023. 11. 05.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 GPT-4V의 시각질문응답(VQA) 능력을 활용하여 미세한 영역 분할, 프롬프트 엔지니어링, 텍스트 기반 세그멘테이션을 통해 제로샷 이상 탐지 프레임워크인 GPT-4V-AD를 제안한다. VisA에서 88.0 AU-ROC를 기록하며 최신 기술 수준을 달성하였고, MVTec AD에서도 뛰어난 성능을 보이며, GPT-4V가 이상 탐지에서 시각적 기반을 구현할 잠재력을 입증한다. 다만 픽셀 수준 정밀도에 한계가 있음에도 불구하고.

ABSTRACT

Large Multimodal Model (LMM) GPT-4V(ision) endows GPT-4 with visual grounding capabilities, making it possible to handle certain tasks through the Visual Question Answering (VQA) paradigm. This paper explores the potential of VQA-oriented GPT-4V in the recently popular visual Anomaly Detection (AD) and is the first to conduct qualitative and quantitative evaluations on the popular MVTec AD and VisA datasets. Considering that this task requires both image-/pixel-level evaluations, the proposed GPT-4V-AD framework contains three components: extbf{ extit{1)}} Granular Region Division, extbf{ extit{2)}} Prompt Designing, extbf{ extit{3)}} Text2Segmentation for easy quantitative evaluation, and have made some different attempts for comparative analysis. The results show that GPT-4V can achieve certain results in the zero-shot AD task through a VQA paradigm, such as achieving image-level 77.1/88.0 and pixel-level 68.0/76.6 AU-ROCs on MVTec AD and VisA datasets, respectively. However, its performance still has a certain gap compared to the state-of-the-art zero-shot method, \eg, WinCLIP and CLIP-AD, and further researches are needed. This study provides a baseline reference for the research of VQA-oriented LMM in the zero-shot AD task, and we also post several possible future works. Code is available at \url{https://github.com/zhangzjn/GPT-4V-AD}.

연구 동기 및 목표

• GPT-4V와 같은 VQA 중심의 대규모 다중모odal 모델이 제로샷 이상 탐지에 활용 가능한지 탐구하는 것.
• 일반적인 목적의 시각-언어 모델을 사용할 때 픽셀 수준의 기반 설정 문제를 해결하는 것.
• 정량적 및 정성적 평가를 통해 VQA 기반 LMM의 제로샷 이상 탐지에 대한 기준을 설정하는 것.
• GPT-4V가 미세한 이상 지역을 정확히 파악하고 재현 가능한 결과를 도출하는 데에 한계를 보이는 이유를 탐색하는 것.

제안 방법

• 세분화된 영역 분할은 격자 샘플링, 의미 세그멘테이션(SAM), 또는 슈퍼픽셀 방법을 사용해 입력 이미지를 의미적 또는 구조적으로 일관된 영역으로 나누는 방식이다.
• 프롬프트 설계는 각 영역 내 이상을 식별하도록 GPT-4V를 유도하는 작업별 VQA 프롬프트를 구성하는 것이다.
• 텍스트2세그멘테이션은 영역 경계를 기반으로 GPT-4V의 영역별 출력을 집계하여 픽셀 수준의 이상 마스크를 재구성한다.
• 이 프레임워크는 표준 벤치마크에서 AU-ROC 메트릭을 통해 이미지 수준 및 픽셀 수준 평가를 모두 가능하게 한다.
• 제거 분석은 영역 분할 전략의 선택이 탐지 정확도에 미치는 영향을 평가하기 위해 수행된다.
• 반복적인 추론을 통해 동일한 입력을 사용할 때의 재현성과 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 GPT-4V와 같은 VQA 중심의 대규모 다중모달 모델이 프롬프트 최적화나 이상 유형 전용 프롬프트 없이도 효과적인 제로샷 이상 탐지를 달성할 수 있는가?
• RQ2 격자, SAM, 슈퍼픽셀와 같은 영역 분할 전략의 선택이 이상 지역화 품질에 어떤 영향을 미치는가?
• RQ3 MVTec AD와 VisA에서 제로샷 설정에서 GPT-4V가 새로운 결함 유형으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 GPT-4V는 추가적인 정상 기준 이미지를 소수의 예제 설정에서 효과적으로 활용하지 못하는 이유는 무엇인가? 비록 성능 향상 잠재력이 있음에도 불구하고.
• RQ5 동일한 입력에 대해 반복적인 추론을 수행할 때 GPT-4V의 출력은 얼마나 안정적이고 일관된가?

주요 결과

• GPT-4V-AD는 MVTec AD에서 77.1 AU-ROC, VisA에서 88.0 AU-ROC를 기록하며 이미지 수준에서 최신 기술 수준의 방법들(예: CLIP-AD)보다 +6.8 AU-ROC 높은 성능을 보였다.
• 픽셀 수준 성능은 MVTec AD에서 68.0 AU-ROC, VisA에서 76.6 AU-ROC를 기록하여, GPT-4V가 픽셀 수준 기반 능력을 지닌 것으로 나타났다. 다만 한계가 있음에도 불구하고.
• 대부분의 경우 슈퍼픽셀 기반 영역 분할이 격자나 SAM보다 더 나은 세그멘테이션 결과를 내었으며, 특히 작은 결함이나 구조적으로 미세한 결함에 유리했다.
• GPT-4V는 추가적인 정상 기준 이미지를 효과적으로 활용하지 못했으며, 종종 일관되지 않거나 잘못된 출력을 생성했다.
• 모델은 출력 안정성이 낮았으며, 동일한 입력에 대해 반복 실행 시 영역 수와 신뢰도 점수에 약간의 변동이 있었다.
• 정성적 결과에서는 GPT-4V가 실제 이상 위치에 가까운 위치를 정확히 지역화할 수 있었으며, 강력한 시각-언어 기반 능력을 보였지만, 미세하거나 대trast가 낮은 결함에는 어려움을 겪었다.