[论文解读] Complementary Pseudo Multimodal Feature for Point Cloud Anomaly Detection

Yunkang Cao, Xiaohao Xu+1 more|arXiv (Cornell University)|Mar 23, 2023

Remote Sensing and LiDAR ApplicationsEnvironmental Science被引用 3

一句话总结

本文提出了一种互补伪多模态特征（Complementary Pseudo Multimodal Feature, CPMF）方法，用于点云异常检测。该方法将手工设计的3D几何描述符与通过预训练2D卷积神经网络从多视角投影中提取的伪2D特征相结合。CPMF在MVTec3D基准上实现了95.15%的图像级AU-ROC和92.93%的像素级PRO，达到当前最优性能，证明了3D与2D模态之间具有强大的互补学习能力。

ABSTRACT

Point cloud (PCD) anomaly detection steadily emerges as a promising research area. This study aims to improve PCD anomaly detection performance by combining handcrafted PCD descriptions with powerful pre-trained 2D neural networks. To this end, this study proposes Complementary Pseudo Multimodal Feature (CPMF) that incorporates local geometrical information in 3D modality using handcrafted PCD descriptors and global semantic information in the generated pseudo 2D modality using pre-trained 2D neural networks. For global semantics extraction, CPMF projects the origin PCD into a pseudo 2D modality containing multi-view images. These images are delivered to pre-trained 2D neural networks for informative 2D modality feature extraction. The 3D and 2D modality features are aggregated to obtain the CPMF for PCD anomaly detection. Extensive experiments demonstrate the complementary capacity between 2D and 3D modality features and the effectiveness of CPMF, with 95.15% image-level AU-ROC and 92.93% pixel-level PRO on the MVTec3D benchmark. Code is available on https://github.com/caoyunkang/CPMF.

研究动机与目标

• 通过整合互补的3D几何特征与2D语义特征，提升点云异常检测性能。
• 解决仅依赖3D几何或2D图像特征在异常检测中的局限性。
• 利用预训练2D神经网络对3D点云的伪2D投影进行特征提取，以增强语义理解能力。
• 构建统一的特征表示，融合局部3D结构与全局2D语义，以提升异常定位与检测能力。

提出的方法

• 将3D点云投影到多个2D视角，生成伪2D模态。
• 使用预训练的2D卷积神经网络从多视角图像中提取全局语义特征。
• 计算手工设计的3D几何描述符（如法线、曲率）以捕捉局部结构细节。
• 通过拼接或基于注意力的聚合方式融合3D几何特征与2D语义特征。
• 使用融合后的CPMF表示训练异常检测模型，以识别异常区域。
• 通过重建损失和对比学习端到端优化模型，以增强特征的判别能力。

实验结果

研究问题

• RQ1 将手工设计的3D几何特征与伪2D语义特征结合，能否提升点云异常检测性能？
• RQ2 预训练的2D CNN在多视角投影的3D点云中，能否有效提取有意义的语义信息？
• RQ3 3D与2D模态特征在异常检测中的互补程度如何？
• RQ4 所提出的CPMF表示是否在标准基准上优于单模态或早期融合基线方法？
• RQ5 该方法能否在不同类型的异常和3D点云物体类别上实现良好泛化？

主要发现

• CPMF在MVTec3D基准上实现了95.15%的图像级AU-ROC，创下新的最先进性能记录。
• 该方法达到92.93%的像素级PRO，表明其在异常区域定位方面具有强大能力。
• 消融实验证实，3D几何特征与2D语义特征均对检测性能有显著贡献。
• 3D与2D特征的融合相比单独使用任一模态，展现出更优的泛化能力。
• 在伪2D投影上使用预训练2D网络能有效捕捉高层语义信息，且无需微调。