Skip to main content
QUICK REVIEW

[논문 리뷰] APRIL-GAN: A Zero-/Few-Shot Anomaly Classification and Segmentation Method for CVPR 2023 VAND Workshop Challenge Tracks 1&2: 1st Place on Zero-shot AD and 4th Place on Few-shot AD

Xuhai Chen, Yue Han|arXiv (Cornell University)|2023. 05. 27.
Anomaly Detection Techniques and ApplicationsComputer Science인용 수 8
한 줄 요약

이 연구는 CLIP에 선형 매핑과 메모리 뱅크를 추가하여 제로샷/소샷 이상 탐지 및 분할을 달성하고, VAND 챌린지에서 제로샷 최고 순위를 달성하고 소샷 분류 성능을 강화한다.

ABSTRACT

In this technical report, we briefly introduce our solution for the Zero/Few-shot Track of the Visual Anomaly and Novelty Detection (VAND) 2023 Challenge. For industrial visual inspection, building a single model that can be rapidly adapted to numerous categories without or with only a few normal reference images is a promising research direction. This is primarily because of the vast variety of the product types. For the zero-shot track, we propose a solution based on the CLIP model by adding extra linear layers. These layers are used to map the image features to the joint embedding space, so that they can compare with the text features to generate the anomaly maps. Besides, when the reference images are available, we utilize multiple memory banks to store their features and compare them with the features of the test images during the testing phase. In this challenge, our method achieved first place in the zero-shot track, especially excelling in segmentation with an impressive F1 score improvement of 0.0489 over the second-ranked participant. Furthermore, in the few-shot track, we secured the fourth position overall, with our classification F1 score of 0.8687 ranking first among all participating teams.

연구 동기 및 목표

  • 산업 이상 탐지에서 카테고리별 데이터 없이도 빠른 적응을 촉진한다.
  • CLIP의 언어–비전 정렬을 활용해 제로샷 이상 탐지 및 분할을 안내한다.
  • 스테이지-별 특징 매핑을 통해 공통 임베딩 공간으로 로컬라이제이션을 향상시킨다.
  • 소샷 설정에서 메모리 뱅크를 통해 참조 이미지를 활용해 탐지를 개선하면서 제로샷 구성요소를 보존한다.

제안 방법

  • 제로샷 분류와 분할을 가능하게 하려 CLIP를 기반으로 한다.
  • 이미지 특징을 텍스트-이미지 유사도에 맞추기 위해 각 스테이지에 선형 매핑을 추가한다.
  • 얕은 단계와 깊은 단계의 특징을 융합해 텍스트 특징과의 단계별 유사도로 이상 맵을 생성한다(식(3)).
  • 텍스트 프롬트 앙상블(상태 수준 및 템플릿 수준)을 사용해 이상 설명에 대해 강건한 텍스트 특징을 얻는다.
  • 소샷에서 매 테스트-타임 비교를 위해 각 인코더 스테이지의 선형 계층 가중치를 유지하고 참조 특징을 메모리 뱅크에 저장한다(식(4)).
  • CLIP이 고정된 상태에서 추가된 선형 계층만 focal+Dice 손실로 학습한다.

실험 결과

연구 질문

  • RQ1CLIP 기반 프레임워크를 산업 영상에서 제로샷 이상 탐지 및 분할로 확장할 수 있는가?
  • RQ2스테이지별 특징 매핑 및 텍스트 프롯 앙상블을 도입하면 제로샷 AD 성능이 향상되는가?
  • RQ3메모리 뱅크 기반 메모리 증강이 매핑 계층 미세 조정 없이도 소샷 이상 분할에 이득을 제공하는가?
  • RQ4제안된 방법은 표준 AD 데이터셋(MVTec AD, VisA)과 VAND 테스트 세트에서 어떻게 성능을 발휘하는가?

주요 결과

  • 제로샷 VAND에서 APRIL-GAN은 세그먼트에 대해 F1-max 0.3431, 분류에 대해 0.7782 F1-max로 1위에 랭크되었다.
  • 소샷 VAND에서 이 방법은 분류 F1-max 0.8687(분류 1위) 및 F1-max-segm 0.4264를 달성했다.
  • MVTec AD 제로샷에서 AUROC-segm 87.6 및 F1-max-segm 43.3; 우리의 방법은 AUROC-세그먼트에서 WinCLIP 대비 2.5포인트, F1-max-seg 대비 11.6포인트 우수하다.
  • VisA 제로샷에서 AUROC-segm 95.5(주 note) 및 F1-max-segm 32.3으로 강력한 제로샷 분할을 보이며/ 분류 지표는 상위와 비슷하다.
  • VisA 소샷 결과에서 APRIL-GAN은 강한 분류 성능을 달성했고, 메모리 뱅크를 사용할 때 PRO-segm의 주목할 만한 개선이 있다.
  • 제로샷/소샷 설정 전반에 걸쳐 다중 스테이지 특징 매핑과 메모리 뱅크가 오 탐지 감소와 함께 정확한 이상 로컬라이제이션에 기여한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.