[論文レビュー] Benchmarking Unsupervised Anomaly Detection and Localization

Zheng Ye, Xiang Wang+3 more|arXiv (Cornell University)|May 30, 2022

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本論文は、MVTec ADおよびMVTec 3D-ADデータセットにおける教師なし異常検出および局所化手法の包括的なベンチマーク調査を提示している。性能、推論効率、ラベルの曖昧さを評価した。PatchCoreとPaDimが、それぞれ画素レベルおよび画像レベルの異常局所化で最先端の結果を達成しており、既存の2D手法がRGB入力のみで3Dデータにうまく一般化できることを示している。

ABSTRACT

Unsupervised anomaly detection and localization, as of one the most practical and challenging problems in computer vision, has received great attention in recent years. From the time the MVTec AD dataset was proposed to the present, new research methods that are constantly being proposed push its precision to saturation. It is the time to conduct a comprehensive comparison of existing methods to inspire further research. This paper extensively compares 13 papers in terms of the performance in unsupervised anomaly detection and localization tasks, and adds a comparison of inference efficiency previously ignored by the community. Meanwhile, analysis of the MVTec AD dataset are also given, especially the label ambiguity that affects the model fails to achieve full marks. Moreover, considering the proposal of the new MVTec 3D-AD dataset, this paper also conducts experiments using the existing state-of-the-art 2D methods on this new dataset, and reports the corresponding results with analysis.

研究の動機と目的

• MVTec ADデータセットにおける13の最先端の教師なし異常検出および局所化手法の包括的かつ再現可能な比較を提供すること。
• コミュニティでこれまで軽視されてきた要因である推論効率を、主要なSOTA手法について評価すること。
• MVTec ADデータセットにおけるラベルの曖昧さを特定・分析し、モデル性能に与える影響を明らかにすること。
• RGBデータのみを用いて、新たに提案されたMVTec 3D-ADデータセットにおける2D SOTA手法の転送性を評価すること。

提案手法

• 標準指標（画像レベルAUCおよび画素レベルPRO）を用いて、MVTec ADデータセットにおける13の教師なし異常検出および局所化手法の広範な評価。
• 推論時間の測定を組み込み、各手法間での計算効率を比較。
• MVTec ADデータセットにおける曖昧なアノテーションの手動での点検および修正を行い、それがモデル性能に与える影響を評価。
• 3D固有のアーキテクチャを用いずに、RGB入力のみで2D SOTA手法（例：PatchCore、PaDim、FastFlow）を3D-ADデータセットに適応。
• 3Dのみ、3D+RGB、RGBのみの3つの設定で、3D-ADデータセットにおけるモデルの学習および推論を実施し、モダリティ感受性を評価。
• 再構成ベースおよび表現ベースのアプローチを、評価対象の手法における2大パラダイムとして用いる。

実験結果

リサーチクエスチョン

• RQ1 既存の教師なし異常検出および局所化手法は、MVTec ADベンチマークにおいて、精度と推論効率の観点からどのように比較されるか？
• RQ2 MVTec ADデータセットにおけるラベルの曖昧さは、モデルが完全な性能を達成できない要因としてどの程度影響を及えるか？
• RQ3 RGBデータのみを用いた場合、最先端の2D異常検出手法が3D異常検出タスクに効果的に一般化できるか？
• RQ4 MVTec 3D-ADデータセットにおいて2D手法と3D手法の性能差はどの程度であり、どのモダリティの組み合わせが最も優れた結果をもたらすか？

主な発見

• PatchCoreは、MVTec 3D-ADデータセットにおいて画素レベルの異常局所化で最高の性能（PROスコア0.930）を達成しており、他の手法を上回っている。
• PaDimは、MVTec 3D-ADデータセットにおいて画像レベルの異常検出AUCで最高（0.980）を記録しており、3Dデータへの強い一般化能力を示している。
• MVTec ADデータセットのラベル曖昧さを修正した後、最先端手法の性能が完全スコアに近づいたことから、アノテーションの品質が評価に顕著に影響することが示された。
• PatchCoreやFastFlowを含む複数の2D SOTA手法が、RGBデータのみを用いた場合、MVTec 3D-ADデータセットで高い性能（AUC > 0.93）を達成しており、強力な転送性を示している。
• 推論効率は手法間で顕著に異なることが判明し、FastFlowやCFlowは特に高速であった。これは実用的導入において効率の重要性を示唆している。
• MVTec 3D-ADデータセットにおける平均性能は、RGBのみの入力で最も高かったことから、3Dジオメトリが常に高い性能をもたらすわけではないことが示された。