[논문 리뷰] 2nd Place Winning Solution for the CVPR2023 Visual Anomaly and Novelty Detection Challenge: Multimodal Prompting for Data-centric Anomaly Detection

Yunkang Cao, Xiaohao Xu외 4명|arXiv (Cornell University)|2023. 06. 15.

Anomaly Detection Techniques and ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 도메인 전문가 지식과 대상 이미지의 맥락에서 유도된 다중모odal 프롬프트를 활용하여 기초 모델(SAM 및 GroundingDINO)을 정규화하는 데이터 중심적, 제로샷 이상 징후 세그멘테이션 프레임워크인 SAA+를 제안한다. 언어, 성질, 주목도, 신뢰도 프롬프트를 통합함으로써 SAA+는 VisA 및 MVTec-AD 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 프롬프트 기반 방법에 비해 잘못된 경고를 크게 감소시킨다.

ABSTRACT

This technical report introduces the winning solution of the team Segment Any Anomaly for the CVPR2023 Visual Anomaly and Novelty Detection (VAND) challenge. Going beyond uni-modal prompt, e.g., language prompt, we present a novel framework, i.e., Segment Any Anomaly + (SAA$+$), for zero-shot anomaly segmentation with multi-modal prompts for the regularization of cascaded modern foundation models. Inspired by the great zero-shot generalization ability of foundation models like Segment Anything, we first explore their assembly (SAA) to leverage diverse multi-modal prior knowledge for anomaly localization. Subsequently, we further introduce multimodal prompts (SAA$+$) derived from domain expert knowledge and target image context to enable the non-parameter adaptation of foundation models to anomaly segmentation. The proposed SAA$+$ model achieves state-of-the-art performance on several anomaly segmentation benchmarks, including VisA and MVTec-AD, in the zero-shot setting. We will release the code of our winning solution for the CVPR2023 VAN.

연구 동기 및 목표

• 모호하고 클래스에 관계없이 적용되는 언어 프롬프트로 인한 높은 잘못된 경고 비율을 해결하기 위해.
• 피팅 트레이닝 없이 기초 모델의 제로샷 일반화 성능을 향상시키기 위해.
• 더 나은 이상 징후 국소화를 위해 도메인 특화 전문 지식과 동적 이미지 맥락을 프롬프트 설계에 통합하기 위해.
• 모델 재학습이 아닌 다중모달 프롬프팅을 통한 기초 모델 정규화를 가능하게 하는 데이터 중심 프레임워크 개발하기 위해.
• 제로샷 설정 하에서 VisA 및 MVTec-AD에서 최신 기술 수준의 성능 달성하기 위해.

제안 방법

• 프롬프트 유도형 객체 탐지기(GroundingDINO)와 세그멘테이션 모델(SAM)을 연결하여 기본 프롬프트 기반의 '어디서나 이상 징후(SAA)'를 구성한다.
• 언어 프롬프트(예: '결함'), 성질 프롬프트(예: '너무 긴'), 주목도 프롬프트(이미지 특징에서 유도), 신뢰도 프롬프트(상위-K 영역 점수에서 유도)의 네 가지 유형을 사용하는 다중모달 프롬프팅을 SAA+에 도입한다.
• 사전 학습된 WideResNet50에서 유도된 시각적 주목도 맵을 사용하여 영역 선택을 안내하고 국소화 정확도를 향상시킨다.
• 신뢰도 순위를 적용하여 점수 기반으로 상위-K 예측을 선택함으로써 노이즈를 감소시킨다.
• 가중치가 부여된 집합을 통해 소프트 투표 메커니즘을 사용해 다중 프롬프트 신호를 통합하여 최종 이상 징후 맵을 생성한다.
• 모델 피팅 트레이닝을 피하는 프롬프트 정규화 전략을 적용하여 완전한 제로샷 적응을 가능하게 한다.

Figure 1 : Towards segmenting any anomaly without training, we first construct a vanilla baseline (Segment Any Anomaly, SAA) by prompting into a cascade of anomaly region generator ( e.g. , a prompt-guided object detection foundation model [ 2 ] ) and anomaly region refiner ( e.g. , a segmentation f

실험 결과

연구 질문

• RQ1 기본 언어 프롬프트에 비해 다중모달 프롬프팅이 제로샷 이상 징후 세그멘테이션에서 잘못된 경고를 크게 줄일 수 있는가?
• RQ2 도메인 전문가가 유도한 프롬프트(예: 특정 결함 기술)가 국소화 정확도 향상에 얼마나 효과적인가?
• RQ3 시각적 주목도 및 신뢰도 점수와 같은 이미지 맥락은 기초 모델 예측의 강건성 향상에 어느 정도 기여하는가?
• RQ4 여러 프롬프트 모odal을 조합하면 단일 모달 프롬프팅보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ5 모델 피팅 트레이닝 없이도 데이터 중심의 프롬프트 기반 접근이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SAA+는 VisA에서 최대-F1-픽셀 점수 27.07, MVTec-AD에서 39.40을 기록하여 WinClip, ClipSeg, UTAD를 포함한 이전 방법들을 크게 능가한다.
• 제거 실험 결과, 언어, 성질, 주목도, 신뢰도 프롬프트 중 어느 하나라도 제거하면 성능 저하가 발생함을 확인하여 각 구성 요소의 기여도를 입증한다.
• 언어 프롬프트 제거(w/o 𝒫ᴸ) 시 VisA에서 3.78점의 점수 하락이 발생하여 기본 프롬프트가 기초 국소화에 필수적임을 시사한다.
• 주목도 프롬프트 제거(w/o 𝒫ˢ) 시 MVTec-AD에서 7.68점의 점수 하락이 발생하여 이상 징후 탐지에서 공간 맥락의 중요성을 강조한다.
• 신뢰도 프롬프트 제거(w/o 𝒫ᶜ) 시 VisA에서 성능이 27.07에서 26.70으로 가장 크게 하락하여 점수 기반 필터링이 예측 신뢰도 향상에 기여함을 보여준다.
• 정성적 결과는 SAA+가 다양한 물체의 미세하고 복잡한 결함을 높은 정밀도로 탐지하고, 잘못된 경고를 최소화함을 확인한다.

Figure 2 : Overview of the proposed Segment Any Anomaly + (SAA+) framework. We adapt foundation models to zero-shot anomaly segmentation via multimodal prompt regularization. In specific, apart from naive class-agnostic language prompts, the regularization comes from both domain expert knowledge, in