[論文レビュー] AnomalyGPT: Detecting Industrial Anomalies Using Large Vision-Language Models
AnomalyGPT は、シミュレートされた異常を備えた大規模なビジョン-言語モデル、軽量な画像デコーダ、およびプロンプト学習器を活用して、閾値設定なしで産業異常を検出・局在化し、少数ショットの文脈学習と多回対話を実現する。MVTec-AD においては 1-shot で 86.1% の精度、画像-AUC 94.1%、ピクセル-AUC 95.3% を達成(非監督の転移結果が言及されている)。
Large Vision-Language Models (LVLMs) such as MiniGPT-4 and LLaVA have demonstrated the capability of understanding images and achieved remarkable performance in various visual tasks. Despite their strong abilities in recognizing common objects due to extensive training datasets, they lack specific domain knowledge and have a weaker understanding of localized details within objects, which hinders their effectiveness in the Industrial Anomaly Detection (IAD) task. On the other hand, most existing IAD methods only provide anomaly scores and necessitate the manual setting of thresholds to distinguish between normal and abnormal samples, which restricts their practical implementation. In this paper, we explore the utilization of LVLM to address the IAD problem and propose AnomalyGPT, a novel IAD approach based on LVLM. We generate training data by simulating anomalous images and producing corresponding textual descriptions for each image. We also employ an image decoder to provide fine-grained semantic and design a prompt learner to fine-tune the LVLM using prompt embeddings. Our AnomalyGPT eliminates the need for manual threshold adjustments, thus directly assesses the presence and locations of anomalies. Additionally, AnomalyGPT supports multi-turn dialogues and exhibits impressive few-shot in-context learning capabilities. With only one normal shot, AnomalyGPT achieves the state-of-the-art performance with an accuracy of 86.1%, an image-level AUC of 94.1%, and a pixel-level AUC of 95.3% on the MVTec-AD dataset. Code is available at https://github.com/CASIA-IVA-Lab/AnomalyGPT.
研究の動機と目的
- 異常がまれで閾値が現実的でないドメイン固有のニーズを伴う産業異常検知 (IAD) を動機づける。
- 手動で設定した閾値なしに存在を検出し、異常を局在化できる LVLM ベースの IAD 手法を開発する。
- 見慣れない物体に適応するために少数ショットの文脈学習と多回対話を可能にする。
- プロンプト埋め込みと部分的微調整を通じて LVLM の能力を保持し、破局的忘却を避ける。
提案手法
- 凍結された画像エンコーダを使用してパッチレベルの特徴を抽出し、画像デコーダを用いて特徴マッチング戦略によるピクセルレベルの局在化を実現する。
- デコーダ出力を LVLM 統合のためのプロンプト埋め込みに変換する軽量なプロンプト学習器を導入する。
- プリトレーニング済みの能力を保持するため、パラメータ全体の更新ではなくプロンプト埋め込みを介して LVLM を微調整する。
- カット&ペーストによるポアソン画像編集を用いて異常訓練データをシミュレートし、LVLM の整合のための画像説明と QA プロンプトを生成する。
- LVLM と多回対話を可能にして、異常関連の質問に回答し、 verbose な局在情報を提供する。
実験結果
リサーチクエスチョン
- RQ1LVLM をどう訓練・指導して、テストデータの閾値設定なしに産業異常を検出・局在化させることができるか?
- RQ2プロンプト調整と軽量デコーダで、ピクセルレベルの正確な局在化と unseen 産業物体への堅牢な少数ショット転移を実現できるか?
- RQ3シミュレートされた異常データと文脈学習の組み合わせで、標準 IAD ベンチマークで最先端性能を達成できるか?
- RQ4 LVLM との多回対話は、解釈性とユーザーインタラクションを産業異常検知で高めるか?
主な発見
- AnomalyGPT は MVTec-AD において 1-shot 設定で 86.1% の精度、画像レベル AUC 94.1%、ピクセルレベル AUC 95.3% を達成(純粋に 1 normal sample か 1 normal-shot 転送かは未記載)。
- MVTec-AD で教師なし学習した場合、精度 93.3%、画像-AUC 97.4%、ピクセル-AUC 93.1% を達成。
- VisA への One-shot 転送で 77.4% の精度、画像-AUC 87.4%、ピクセル-AUC 96.2%;VisA で教師なし学習を行い、その後 MVTec-AD へ One-shot 転送で 86.1% の精度、画像-AUC 94.1%、ピクセル-AUC 95.3% を達成。
- 本手法は多回対話能力と少数ショットの context 学習を示し、論文の表 2–4 に詳述されるように、いくつかの設定でいくつかのベースライン手法を上回る。
- プロンプト埋め込みは、アブレーションで LoRA ベースの微調整に比べ転送性と精度を大幅に改善する。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。