[論文レビュー] Back to the Feature: Classical 3D Features are (Almost) All You Need for 3D Anomaly Detection

Eliahu Horwitz, Yedid Hoshen|arXiv (Cornell University)|Mar 10, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本論文は、3次元異常検出のためのシンプルでありながら非常に効果的な手法BTF（Back to the Feature）を提案する。この手法は、古典的で回転不変性を持つ3次元特徴（FPFH）と深層学習ベースのカラーベース特徴（PatchCore）を組み合わせるものであり、MVTec 3D-ADで99.3%のピクセル単位ROCAUCおよび96.4%のPROを達成し、最先端の性能を示した。これにより、手作業で設計された3次元特徴が学習ベースの特徴を上回り、モダリティ統合が頑健な異常検出の鍵であることが示された。

ABSTRACT

Despite significant advances in image anomaly detection and segmentation, few methods use 3D information. We utilize a recently introduced 3D anomaly detection dataset to evaluate whether or not using 3D information is a lost opportunity. First, we present a surprising finding: standard color-only methods outperform all current methods that are explicitly designed to exploit 3D information. This is counter-intuitive as even a simple inspection of the dataset shows that color-only methods are insufficient for images containing geometric anomalies. This motivates the question: how can anomaly detection methods effectively use 3D information? We investigate a range of shape representations including hand-crafted and deep-learning-based; we demonstrate that rotation invariance plays the leading role in the performance. We uncover a simple 3D-only method that beats all recent approaches while not using deep learning, external pre-training datasets, or color information. As the 3D-only method cannot detect color and texture anomalies, we combine it with color-based features, significantly outperforming previous state-of-the-art. Our method, dubbed BTF (Back to the Feature) achieves pixel-wise ROCAUC: 99.3% and PRO: 96.4% on MVTec 3D-AD.

研究の動機と目的

• 3次元データに対して2次元のみの手法と比較した場合、3次元情報が異常検出性能を顕著に向上させるかどうかを調査すること。
• 異常検出に効果的な3次元表現の重要な特性を特定すること。
• 3次元形状とカラーモダリティを組み合わせることによる相乗効果が、異常検出においてどのように発揮されるかを評価すること。
• 今後の3次元異常検出研究のための強力でシンプルなベースラインを確立すること。

提案手法

• 本手法は、点群から回転不変性を持つ手作業で設計された3次元特徴抽出器として、FPFH（Fast Point Feature Histograms）記述子を用いる。
• カラーベース特徴は、事前学習済み特徴とk-NNスコアリングを活用する最先端の深層学習手法PatchCoreを用いて抽出する。
• FPFHとPatchCoreの特徴を、異常スコアリングの前に潜在表現を連結することで、ラテントフェーツ統合戦略を採用する。
• 事前処理パイプラインとして、RANSACと連結成分を用いて背景平面を除去する。これにより、深度ベース手法の性能が向上するが、FPFHの性能はわずかに低下する。
• すべての特徴は28×28のパッチ解像度で抽出され、異なる解像度間の特徴マップを整合させるために平均プーリングが用いられる。
• 評価は、標準的な指標（ピクセル単位ROCAUC、PRO、画像レベルROCAUC）を用いてMVTec 3D-ADデータセットで実施される。

実験結果

リサーチクエスチョン

• RQ1 3次元データに適用された現在の3次元異常検出手法は、2次元の最先端手法を実際に上回っているのだろうか？
• RQ2 カラーベースの画像では見えない幾何的異常を検出するために、3次元情報は本当に必要なのだろうか？
• RQ3 効果的な3次元表現の重要な特性とは何か？
• RQ4 3次元形状とカラーモダリティを組み合わせることで、単独で使用する場合よりも優れた性能が得られるのだろうか？

主な発見

• PatchCoreのようなカラーベースの手法は、MVTec 3D-ADデータセットにおいて、既存の3次元専用の異常検出手法を顕著に上回る性能を示した。
• 回転不変性を持つ古典的3次元記述子（例：FPFH）は、深層学習ベースの3次元表現および非不変な古典的特徴よりも優れた性能を達成した。
• FPFHとPatchCoreを統合した本手法BTFは、MVTec 3D-ADで99.3%のピクセル単位ROCAUCおよび96.4%のPROを達成し、新たな最先端性能を樹立した。
• 背景平面を除去する事前処理は、深度ベース手法の性能を向上させるが、FPFHの性能をわずかに低下させるため、欠損データに対する感受性が異なることが示唆された。
• 高いピクセルレベル性能にもかかわらず、画像レベルの検出精度（I-ROC）は86.5%にとどまり、3次元データにおける画像レベルのスコアリング指標の改善が依然として必要であることを示している。
• ケーブルグランドやフォームなどの特定のクラスは、3次元ベースの手法において依然として困難であり、カラーベース特徴との統合によっても性能ギャップが完全に解消されていない。これは、現在の統合戦略の限界を示している。