[论文解读] Back to the Feature: Classical 3D Features are (Almost) All You Need for 3D Anomaly Detection

Eliahu Horwitz, Yedid Hoshen|arXiv (Cornell University)|Mar 10, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出BTF（Back to the Feature），一种简单但极为有效的3D异常检测方法，通过结合经典、旋转不变的3D特征（FPFH）与基于深度学习的彩色特征（PatchCore），在MVTec 3D-AD数据集上实现了SOTA性能，像素级ROCAUC达99.3%，PRO达96.4%。结果表明，手工设计的3D特征优于基于学习的特征，且模态融合是实现鲁棒异常检测的关键。

ABSTRACT

Despite significant advances in image anomaly detection and segmentation, few methods use 3D information. We utilize a recently introduced 3D anomaly detection dataset to evaluate whether or not using 3D information is a lost opportunity. First, we present a surprising finding: standard color-only methods outperform all current methods that are explicitly designed to exploit 3D information. This is counter-intuitive as even a simple inspection of the dataset shows that color-only methods are insufficient for images containing geometric anomalies. This motivates the question: how can anomaly detection methods effectively use 3D information? We investigate a range of shape representations including hand-crafted and deep-learning-based; we demonstrate that rotation invariance plays the leading role in the performance. We uncover a simple 3D-only method that beats all recent approaches while not using deep learning, external pre-training datasets, or color information. As the 3D-only method cannot detect color and texture anomalies, we combine it with color-based features, significantly outperforming previous state-of-the-art. Our method, dubbed BTF (Back to the Feature) achieves pixel-wise ROCAUC: 99.3% and PRO: 96.4% on MVTec 3D-AD.

研究动机与目标

• 探究与仅使用颜色的方法相比，3D信息是否显著提升在3D数据上的异常检测性能。
• 识别有效3D表征用于异常检测的关键特性。
• 评估结合3D形状与颜色模态在异常检测中的互补优势。
• 为未来3D异常检测研究建立一个强大且简单的基线。

提出的方法

• 该方法使用FPFH（快速点特征直方图）描述符作为从点云中提取的手工设计、旋转不变的3D特征提取器。
• 基于颜色的特征通过PatchCore提取，这是一种SOTA的深度学习方法，利用预训练特征和k-NN评分进行异常检测。
• 采用晚期融合策略，通过拼接FPFH与PatchCore的潜在表示，再进行异常评分。
• 预处理流程使用RANSAC和连通组件移除背景平面，提升了基于深度的方法的性能，但对FPFH略有降低。
• 所有特征均在28×28的补丁上提取，使用平均池化对齐不同分辨率下的特征图。
• 评估在MVTec 3D-AD数据集上进行，采用标准指标：像素级ROCAUC、PRO和图像级ROCAUC。

实验结果

研究问题

• RQ1 当应用于3D数据时，当前的3D异常检测方法是否真正优于SOTA的2D方法？
• RQ2 对于在仅颜色图像中不可见的几何异常，3D信息是否为必需？
• RQ3 有效3D表征用于异常检测的关键特性是什么？
• RQ4 结合3D形状与颜色模态是否能实现优于单独使用任一模态的性能？

主要发现

• 仅使用颜色的方法（如PatchCore）在MVTec 3D-AD数据集上显著优于现有的3D专用异常检测方法。
• 旋转不变的3D描述符（如FPFH）在性能上优于基于深度学习的3D表征以及非旋转不变的经典特征。
• 所提出的BTF方法结合FPFH与PatchCore，在MVTec 3D-AD上实现了新的SOTA性能，像素级ROCAUC达99.3%，PRO达96.4%。
• 移除背景平面的预处理可提升基于深度的方法性能，但对FPFH略有劣化，表明其对缺失数据的敏感性不同。
• 尽管像素级性能优异，图像级检测准确率（I-ROC）仍不理想，仅为86.5%，表明当前3D数据的图像级评分指标仍有待改进。
• 某些类别如电缆接头和泡沫对基于3D的方法仍具挑战性，且与颜色特征融合未能完全弥合性能差距，表明当前融合策略存在局限性。