[논문 리뷰] Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection

Yuanze Li, Haolin Wang외 7명|arXiv (Cornell University)|2023. 10. 29.

vaccines and immunoinformatics approaches인용 수 9

한 줄 요약

Myriad는 비전 전문가 이상 맵을 MiniGPT-4 기반의 대형 다중모달 모델에 통합하여 확정적 산업 이상 탐지를 달성하고 자세한 설명을 제공하며, 1-class 및 few-shot 설정에서 여러 최첨단 IAD 방법을 능가합니다.

ABSTRACT

Due to the training configuration, traditional industrial anomaly detection (IAD) methods have to train a specific model for each deployment scenario, which is insufficient to meet the requirements of modern design and manufacturing. On the contrary, large multimodal models~(LMMs) have shown eminent generalization ability on various vision tasks, and their perception and comprehension capabilities imply the potential of applying LMMs on IAD tasks. However, we observe that even though the LMMs have abundant knowledge about industrial anomaly detection in the textual domain, the LMMs are unable to leverage the knowledge due to the modality gap between textual and visual domains. To stimulate the relevant knowledge in LMMs and adapt the LMMs towards anomaly detection tasks, we introduce existing IAD methods as vision experts and present a novel large multimodal model applying vision experts for industrial anomaly detection~(abbreviated to {Myriad}). Specifically, we utilize the anomaly map generated by the vision experts as guidance for LMMs, such that the vision model is guided to pay more attention to anomalous regions. Then, the visual features are modulated via an adapter to fit the anomaly detection tasks, which are fed into the language model together with the vision expert guidance and human instructions to generate the final outputs. Extensive experiments are applied on MVTec-AD, VisA, and PCB Bank benchmarks demonstrate that our proposed method not only performs favorably against state-of-the-art methods, but also inherits the flexibility and instruction-following ability of LMMs in the field of IAD. Source code and pre-trained models are publicly available at \url{https://github.com/tzjtatata/Myriad}.

연구 동기 및 목표

• 이진 이상 맵과 점수를 넘어서는 산업 이상 탐지(IAD) 필요성을 고무하고, 확정적 판단과 자세한 설명을 지향합니다.
• 기존 IAD 모델을 비전 전문가로 활용하여 도메인 지식을 대형 다중모달 모델에 주입합니다.
• LLM이 IAD 작업에서 전문가 priors를 활용할 수 있도록 토큰화 및 가이던스 메커니즘을 만듭니다.
• 일반 이미지와 산업 이미지 간의 차이를 줄이기 위해 도메인 어댑터로 시각 표현을 강화합니다.
• 표준 IAD 벤치마크에서 향상된 성능을 시연하고 질적 이상 설명을 제공합니다.

제안 방법

• Base LMM으로 MiniGPT-4를 사용하고, 비전-전문가 출력을 LLM이 읽을 수 있는 토큰으로 변환하는 Expert Perception 모듈(VE-Tokenizer)을 도입합니다.
• 산업 시각 특징 추출을 개선하기 위해 비전 인코더에 도메인 어댑터를 부착합니다.
• 전문가 priors에 의해 안내된 시각-언어 정렬을 가능하게 하도록 Q-Former의 교차 주의로 시각 특징과 상호 작용하는 전문가 질의 토큰을 생성하는 Vision Expert Instructor를 개발합니다.
• 도메인 특화 시각-언어 표현을 LLM과 융합하기 위한 Expert-Driven Vision-Language Extraction을 제안하여 비전-전문가 오류를 완화합니다.
• 템플릿과 합성 이상을 포함하는 IAD 지시 데이터셋으로 학습하여 이상 설명 작업에 대한 지시 이행을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 비전-전문가 priors로 보강된 대형 다중모달 모델(LMM)이 이상 위치화뿐만 아니라 확정적 결함 판단과 풍부한 설명을 제공할 수 있을까요?
• RQ2 사전 학습된 IAD 모델의 이상 맵을 LLM이 이해할 수 있는 토큰으로 어떻게 변환하고, 도메인에 맞춘 시각 정보와의 교차 주의가 IAD 설명을 어떻게 개선할 수 있을까요?
• RQ3 표준 벤치마크에서 zero-shot, few-shot, 및 1-class 설정에서 비전-전문가 priors가 IAD 성능을 향상시킬까요?
• RQ4 VE-Tokenizer와 Vision Expert Instructor 구성요소가 탐지 정확도와 설명 능력에 미치는 영향은 무엇인가요?
• RQ5 다양한 설정에서 비전 전문가를 도입할 때 MVTec-AD와 VisA 전반에 걸쳐 견고한 성능이 나타날까요?

주요 결과

• Myriad는 MVTec-AD에서 1-class 이상 탐지 정확도에서 경쟁력 있는 성능을 달성하고, 보고된 설정에서 여러 기준선을 능가합니다.
• zero-shot 및 few-shot 설정에서 비전-전문가 priors를 활용하는 Myriad가 동시대 방법들에 비해 높은 정확도와 위치화 능력을 보여줍니다.
• 정성적 결과는 Myriad가 존재 여부, 범주, 개수 등의 확정적 이상 판단과 그림자(예: shadow cast), 절단, 균열 등과 같은 자세한 내용 설명을 데이터세트 전체에서 제공할 수 있음을 보여줍니다.
• 특성 제거 연구는 VE-Tokenizer와 Vision Expert Instructor의 중요성을 확인하며, 전문가 priors를 산업 시각-언어 표현과 정렬하여 성능을 향상시키는 것을 확인했습니다.
• MVTec-AD 및 VisA에 대한 실험은 Myriad가 zero-shot, one-shot, 및 1-class 구성에서 작동할 수 있음을 시사하며, 이들 조건에서 종종 최첨단 방법을 능가하거나 비슷한 수준으로 따라갑니다.