[논문 리뷰] AnomalyGPT: Detecting Industrial Anomalies Using Large Vision-Language Models
AnomalyGPT는 시뮬레이션된 이상치, 경량 이미지 디코더, 프롬프트 학습기를 활용하여 매뉴얼 임계값 없이 산업 이상치를 탐지하고 위치를 파악하며, Few-shot in-context 학습과 다회 대화를 가능하게 한다; MVTec-AD에서 1-shot 기준 정확도 86.1%, 이미지-AUC 94.1%, 픽셀-AUC 95.3%를 달성(수반된 비지도 전이 결과 언급).
Large Vision-Language Models (LVLMs) such as MiniGPT-4 and LLaVA have demonstrated the capability of understanding images and achieved remarkable performance in various visual tasks. Despite their strong abilities in recognizing common objects due to extensive training datasets, they lack specific domain knowledge and have a weaker understanding of localized details within objects, which hinders their effectiveness in the Industrial Anomaly Detection (IAD) task. On the other hand, most existing IAD methods only provide anomaly scores and necessitate the manual setting of thresholds to distinguish between normal and abnormal samples, which restricts their practical implementation. In this paper, we explore the utilization of LVLM to address the IAD problem and propose AnomalyGPT, a novel IAD approach based on LVLM. We generate training data by simulating anomalous images and producing corresponding textual descriptions for each image. We also employ an image decoder to provide fine-grained semantic and design a prompt learner to fine-tune the LVLM using prompt embeddings. Our AnomalyGPT eliminates the need for manual threshold adjustments, thus directly assesses the presence and locations of anomalies. Additionally, AnomalyGPT supports multi-turn dialogues and exhibits impressive few-shot in-context learning capabilities. With only one normal shot, AnomalyGPT achieves the state-of-the-art performance with an accuracy of 86.1%, an image-level AUC of 94.1%, and a pixel-level AUC of 95.3% on the MVTec-AD dataset. Code is available at https://github.com/CASIA-IVA-Lab/AnomalyGPT.
연구 동기 및 목표
- 이상치가 희귀하고 임계값이 비현실적인 도메인 특화 요구를 가진 산업 이상탐지(IAD)의 필요성을 제시한다.
- 임의의 임계값 없이 존재 여부를 탐지하고 이상치를 로컬라이즈할 수 있는 LVLM 기반 IAD 방법을 개발한다.
- 적지 않은 물체에 대해 적은 예시로도 몇-shot in-context 학습과 다회 대화가 가능하도록 한다.
- 프롬프트 임베딩과 부분 미세조정을 통해 LVLM의 기능을 보존하고 재앙적 망각을 회피한다.
제안 방법
- 고정된 이미지 인코더를 사용해 패치 수준 특징을 추출하고 이미지 디코더를 통해 특징 매칭 전략으로 픽셀 수준 로컬라이제이션을 생성한다.
- LVLM 통합을 위한 디코더 출력을 프롬프트 임베딩으로 변환하는 경량 프롬프트 학습기를 도입한다.
- 전 파라미터 업데이트가 아닌 프롬프트 임베딩을 통한 LVLM 미세조정으로 사전 학습된 능력을 보존한다.
- 컷-붙여넣기와 포아송 이미지 편집으로 이상치 학습 데이터를 시뮬레이션하고 LVLM 정렬을 위한 이미지 설명과 QA 프롬프트를 생성한다.
- LVLM과의 다회 대화를 통해 이상치 관련 질문에 답하고 자세한 위치 정보를 제공하는 인터랙티브한 대화를 가능하게 한다.
실험 결과
연구 질문
- RQ1LVLM을 어떻게 학습시키거나 유도해 테스트 데이터에서 임계값 없이 산업 이상치를 탐지하고 로컬라이즈하도록 만들 수 있을까?
- RQ2프롬프트 미세조정과 경량 디코더가 정밀한 픽셀 수준 로컬라이제이션과 unseen 산업 물체에 대한 강력한 few-shot 전이를 가능하게 할 수 있을까?
- RQ3시뮬레이션된 이상치 데이터와 in-context 학습의 결합이 표준 IAD 벤치마크에서 최첨단 성능을 내는가?
- RQ4LVLM과의 다회 대화가 산업 이상 탐지의 해석성 및 사용자 상호작용을 향상시킬 수 있는가?
주요 결과
- AnomalyGPT는 MVTec-AD에서 1-shot 설정에서 정확도 86.1%, 이미지 레벨 AUC 94.1%, 픽셀 레벨 AUC 95.3%를 달성했다(순수 한 정상 샘플 하나인지 또는 한 정상 샷 전이인지 여부는 명시되지 않음).
- MVTec-AD에서 비지도 학습으로 훈련될 때 정확도 93.3%, 이미지 AUC 97.4%, 픽셀 AUC 93.1%를 달성한다.
- VisA에 대한 원샷 전이가 정확도 77.4%, 이미지 AUC 87.4%, 픽셀 AUC 96.2%를 산출하며, VisA에서의 비지도 학습 후 MVTec-AD로의 원샷 전이가 정확도 86.1%, 이미지 AUC 94.1%, 픽셀 AUC 95.3%를 달성한다.
- 이 방법은 다회 대화 기능과 몇-shot in-context 학습 역량을 보여주며 논문 표 2–4에 자세히 설명된 바와 같이 특정 설정에서 여러 기준 방법을 능가한다.
- 프롬프트 임베딩은 LoRA 기반 미세조정에 비해 전이성 및 정확도를 크게 향상시킨다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.