Skip to main content
QUICK REVIEW

[论文解读] Towards Zero-Shot Anomaly Detection and Reasoning with Multimodal Large Language Models

Jennifer Xu, Shao-Yuan Lo|ArXiv.org|Feb 11, 2025
Topic ModelingComputer Science被引用 3
一句话总结

论文提出 Anomaly-OV,一种用于零-shot anomaly 检测与推理的专业视觉助手,以及大规模视觉指令数据集(Anomaly-Instruct-125k)与 VisA-D&R 基准,显示出相对于通用多模态大语言模型的显著提升。其还扩展到 3D 与医学异常检测。

ABSTRACT

Zero-Shot Anomaly Detection (ZSAD) is an emerging AD paradigm. Unlike the traditional unsupervised AD setting that requires a large number of normal samples to train a model, ZSAD is more practical for handling data-restricted real-world scenarios. Recently, Multimodal Large Language Models (MLLMs) have shown revolutionary reasoning capabilities in various vision tasks. However, the reasoning of image abnormalities remains underexplored due to the lack of corresponding datasets and benchmarks. To facilitate research in AD & reasoning, we establish the first visual instruction tuning dataset, Anomaly-Instruct-125k, and the evaluation benchmark, VisA-D&R. Through investigation with our benchmark, we reveal that current MLLMs like GPT-4o cannot accurately detect and describe fine-grained anomalous details in images. To address this, we propose Anomaly-OneVision (Anomaly-OV), the first specialist visual assistant for ZSAD and reasoning. Inspired by human behavior in visual inspection, Anomaly-OV leverages a Look-Twice Feature Matching (LTFM) mechanism to adaptively select and emphasize abnormal visual tokens. Extensive experiments demonstrate that Anomaly-OV achieves significant improvements over advanced generalist models in both detection and reasoning. Extensions to medical and 3D AD are provided for future study. The link to our project page: https://xujiacong.github.io/Anomaly-OV/

研究动机与目标

  • 在数据受限的实际场景中推动零-shot 异常检测(ZSAD)。
  • 为异常检测与推理创建可视指令微调数据集。
  • 开发一个专业视觉助手(Anomaly-OV),利用令牌级别的异常专长来引导 LLM。
  • 在工业、医学和3D领域展示相对于通用 MLLMs 的检测和推理改进。

提出的方法

  • 以 LLaVA-OneVision 作为基础 MLLM,并引入异常专家以引导令牌选择。
  • 实现 Look-Twice Feature Matching (LTFM),通过将全局对象嵌入与正/负异常嵌入融合,生成面向类别的异常描述。
  • 引入 Visual Token Selector (VT Selector) 及 Q-Former,强调并聚合可疑视觉令牌以供 LLM 使用。
  • 训练两阶段管线:1)在 Anomaly-Instruct-125k 上对专业异常专家进行训练;2)在冻结专家与编码器的前提下,训练投影器与 LLM 进行视觉指令微调。
  • 应用带有 <adv> 的指示提示,以在存在异常时高亮可疑特征。
  • 扩展到 3D 与医学领域以展示泛化能力。

实验结果

研究问题

  • RQ1一个专业的异常专家是否能够提升多模态 LLMs 的零-shot 异常检测与推理,超越通用模型?
  • RQ2面向对象感知的异常嵌入与 Look-Twice Feature Matching 如何影响检测精度与推理质量?
  • RQ3大规模真实世界数据(WebAD)对零-shot 异常检测性能有何影响?
  • RQ4该方法能否有效扩展到 3D 与医学异常检测场景?

主要发现

  • Anomaly-OV 在图像层面的零-shot 异常检测和基于文本的异常推理方面,相对于先进的通用模型表现显著提升。
  • 异常专家受益于 WebAD 数据,即使没有文本编码器也能提升正常性/异常语义。
  • Look-Twice Feature Matching 与通过 VT Selector 的令牌强调提升了稀疏异常定位和推理准确性。
  • 与 GPT-4o 及其他开源模型相比,Anomaly-OV 提供更精确且更有依据的异常描述与推理。
  • 扩展到 3D 与医学领域得到验证,表明具有广泛适用性。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。