Skip to main content
QUICK REVIEW

[论文解读] AnomalyGPT: Detecting Industrial Anomalies Using Large Vision-Language Models

Zhaopeng Gu, Bingke Zhu|arXiv (Cornell University)|Aug 29, 2023
Anomaly Detection Techniques and ApplicationsComputer Science被引用 8
一句话总结

AnomalyGPT 利用带有模拟异常的大型视觉-语言模型、轻量级图像解码器和提示学习器来检测和定位工业异常,无需手动阈值,支持少量样本在 context 中学习与多轮对话;在 MVTec-AD 上达到 86.1% 的精度(1-shot)和 94.1% 的图像-AUC、95.3% 的像素-AUC(提及的无监督迁移结果)。

ABSTRACT

Large Vision-Language Models (LVLMs) such as MiniGPT-4 and LLaVA have demonstrated the capability of understanding images and achieved remarkable performance in various visual tasks. Despite their strong abilities in recognizing common objects due to extensive training datasets, they lack specific domain knowledge and have a weaker understanding of localized details within objects, which hinders their effectiveness in the Industrial Anomaly Detection (IAD) task. On the other hand, most existing IAD methods only provide anomaly scores and necessitate the manual setting of thresholds to distinguish between normal and abnormal samples, which restricts their practical implementation. In this paper, we explore the utilization of LVLM to address the IAD problem and propose AnomalyGPT, a novel IAD approach based on LVLM. We generate training data by simulating anomalous images and producing corresponding textual descriptions for each image. We also employ an image decoder to provide fine-grained semantic and design a prompt learner to fine-tune the LVLM using prompt embeddings. Our AnomalyGPT eliminates the need for manual threshold adjustments, thus directly assesses the presence and locations of anomalies. Additionally, AnomalyGPT supports multi-turn dialogues and exhibits impressive few-shot in-context learning capabilities. With only one normal shot, AnomalyGPT achieves the state-of-the-art performance with an accuracy of 86.1%, an image-level AUC of 94.1%, and a pixel-level AUC of 95.3% on the MVTec-AD dataset. Code is available at https://github.com/CASIA-IVA-Lab/AnomalyGPT.

研究动机与目标

  • 以行业特定需求驱动工业异常检测(IAD),其中异常罕见且阈值设定不现实。
  • 开发基于 LVLM 的 IAD 方法,能够在没有人工设定阈值的情况下检测存在性并定位异常。
  • 实现少量样本的上下文学习和多轮对话,以适应未见对象。
  • 通过提示嵌入和部分微调来保留 LVLM 的能力,避免灾难性遗忘。

提出的方法

  • 使用冻结的图像编码器提取补丁级特征,利用图像解码器通过特征匹配策略实现像素级定位。
  • 引入轻量级提示学习器,将解码器输出转换为用于 LVLM 集成的提示嵌入。
  • 通过提示嵌入而非全参数更新对 LVLM 进行微调,以保留预训练能力。
  • 使用 Cut-paste 与泊松图像编辑模拟异常训练数据,并为 LVLM 对齐生成图像描述和问答提示。
  • 实现与 LVLM 的多轮对话,以回答与异常相关的问题并提供详细的定位信息。

实验结果

研究问题

  • RQ1如何在不对测试数据进行阈值设定的情况下,训练或引导 LVLMs 以检测和定位工业异常?
  • RQ2提示微调加上轻量解码器是否能实现精确的像素级定位以及对未见工业对象的鲁棒少样本迁移?
  • RQ3将模拟异常数据与上下文学习结合,是否在标准 IAD 基准上达到最先进的性能?
  • RQ4与 LVLM 的多轮对话是否能提升工业异常检测的可解释性和用户交互?

主要发现

  • AnomalyGPT 在 MVTec-AD 的 1-shot 设置下达到 86.1% 的精度、94.1% 的图像级 AUC,以及 95.3% 的像素级 AUC;未指明是纯粹的一个正常样本还是一个正常样本的迁移。
  • 在 MVTec-AD 上进行无监督训练时,达到 93.3% 的精度、97.4% 的图像 AUC、93.1% 的像素 AUC。
  • 对 VisA 的一次性迁移获得 77.4% 的精度、87.4% 的图像 AUC、96.2% 的像素 AUC;对 VisA 进行无监督训练后再迁移到 MVTec-AD,达到 86.1% 的精度、94.1% 的图像 AUC、95.3% 的像素 AUC。
  • 该方法展示了多轮对话能力和少样本上下文学习,在某些设置中超越若干基线方法(详见论文表 2–4)。
  • 提示嵌入显著提升了迁移性和在消融实验中的准确性,相较 LoRA 基于微调。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。