[論文レビュー] GPT-4V-AD: Exploring Grounding Potential of VQA-oriented GPT-4V for Zero-shot Anomaly Detection

Jiangning Zhang, He, Haoyang+6 more|arXiv (Cornell University)|Nov 5, 2023

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本稿では、GPT-4Vの視覚的質疑応答（VQA）機能を活用し、細分化された領域分割、プロンプト工学、テキストからセグメンテーションへの変換を組み合わせたゼロショット異常検出フレームワーク、GPT-4V-ADを提案する。VisAでは88.0 AU-ROCを達成し、MVTec ADでも優れた結果を示しており、GPT-4Vの異常検出における視覚的グランドイングの可能性を示しているが、ピクセルレベルの精度には限界がある。

ABSTRACT

Large Multimodal Model (LMM) GPT-4V(ision) endows GPT-4 with visual grounding capabilities, making it possible to handle certain tasks through the Visual Question Answering (VQA) paradigm. This paper explores the potential of VQA-oriented GPT-4V in the recently popular visual Anomaly Detection (AD) and is the first to conduct qualitative and quantitative evaluations on the popular MVTec AD and VisA datasets. Considering that this task requires both image-/pixel-level evaluations, the proposed GPT-4V-AD framework contains three components: extbf{ extit{1)}} Granular Region Division, extbf{ extit{2)}} Prompt Designing, extbf{ extit{3)}} Text2Segmentation for easy quantitative evaluation, and have made some different attempts for comparative analysis. The results show that GPT-4V can achieve certain results in the zero-shot AD task through a VQA paradigm, such as achieving image-level 77.1/88.0 and pixel-level 68.0/76.6 AU-ROCs on MVTec AD and VisA datasets, respectively. However, its performance still has a certain gap compared to the state-of-the-art zero-shot method, \eg, WinCLIP and CLIP-AD, and further researches are needed. This study provides a baseline reference for the research of VQA-oriented LMM in the zero-shot AD task, and we also post several possible future works. Code is available at \url{https://github.com/zhangzjn/GPT-4V-AD}.

研究の動機と目的

• GPT-4VのようなVQA指向の大規模マルチモodalモデルが、ファインチューニングや異常固有のプロンプトなしでゼロショット異常検出が可能かどうかを調査すること。
• 汎用的なビジョン・ランゲージモデルを用いたピクセルレベルのグランドイングの課題を解決すること。
• 定量的・定性的な評価を通じて、VQAベースのLMMのゼロショットADにおけるベースラインを確立すること。
• GPT-4Vが細粒度の異常局所化と再現性を扱う際の限界を調査すること。

提案手法

• 細分化された領域分割は、グリッドサンプリング、セマンティックセグメンテーション（SAM）、またはスーパーピクセル手法を用いて、入力画像を意味的・構造的に一貫した領域に分割する。
• プロンプト設計は、GPT-4Vが各領域内の異常を特定するよう誘導する、タスク固有のVQAプロンプトを策定する。
• テキスト2セグメンテーションは、領域境界を用いてGPT-4Vの領域ごとの出力を集約することで、ピクセルレベルの異常マスクを再構築する。
• 本フレームワークは、標準ベンチマーク上でAU-ROC指標を用いて、画像レベルおよびピクセルレベルの評価を可能にする。
• アブレーションスタディでは、領域分割戦略の違いが検出精度に与える影響を評価する。
• 同一の入力を用いた繰り返し推論を通じて、再現性と安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 GPT-4VのようなVQA指向の大規模マルチモーダルモデルは、ファインチューニングや異常固有のプロンプトなしで、効果的なゼロショット異常検出を達成できるか？
• RQ2 グリッド、SAM、スーパーピクセルの領域分割戦略の選択が、異常局所化の品質にどのように影響するか？
• RQ3 GPT-4Vは、MVTec ADおよびVisAの未学習の欠陥タイプに対して、ゼロショット設定でどの程度一般化できるか？
• RQ4 GPT-4Vは、性能向上の可能性を秘める追加の正常リファレンス画像を、ファーショット設定で効果的に活用できないのはなぜか？
• RQ5 GPT-4Vの出力は、同一の入力に対して繰り返し推論を実行しても、どの程度安定的で一貫性があるか？

主な発見

• GPT-4V-ADは、MVTec ADで77.1 AU-ROC、VisAで88.0 AU-ROCの画像レベル性能を達成し、VisAでCLIP-ADを+6.8 AU-ROC上回る最先端の手法を上回っている。
• ピクセルレベルの性能は、MVTec ADで68.0 AU-ROC、VisAで76.6 AU-ROCに達しており、GPT-4Vのグランドイング能力を示しているが、限界も伴う。
• スーパーピクセルベースの領域分割は、特に小さな欠陥や構造的に繊細な欠陥において、グリッドやSAMよりも優れたセグメンテーション結果を示す。
• GPT-4Vは追加の正常リファレンス画像を効果的に活用できず、しばしば不一致または誤った出力を生成する。
• モデルは出力の安定性が低く、同一入力に対して繰り返し実行した際の領域数や信頼度スコアにわずかな変動が見られる。
• 定性的な結果から、GPT-4Vは真値に近い場所に異常を局所化できることが示され、強力な視覚的・言語的グランドイングを示しているが、細粒度や低コントラストの欠陥には苦労する。