[论文解读] Anomaly Detection in 3D Point Clouds using Deep Geometric Descriptors

Paul Bergmann, David Sattlegger|arXiv (Cornell University)|Feb 23, 2022

Remote Sensing and LiDAR Applications被引用 4

一句话总结

本文提出3D-ST，一种新颖的无监督3D点云异常检测方法，将学生-教师框架适配至3D几何结构。通过在无标注的异常自由数据上对教师网络进行自监督的局部感受野重建预训练，该方法学习到密集的几何描述符，从而在MVTec 3D-AD数据集上实现最先进性能的高分辨率异常定位。

ABSTRACT

We present a new method for the unsupervised detection of geometric anomalies in high-resolution 3D point clouds. In particular, we propose an adaptation of the established student-teacher anomaly detection framework to three dimensions. A student network is trained to match the output of a pretrained teacher network on anomaly-free point clouds. When applied to test data, regression errors between the teacher and the student allow reliable localization of anomalous structures. To construct an expressive teacher network that extracts dense local geometric descriptors, we introduce a novel self-supervised pretraining strategy. The teacher is trained by reconstructing local receptive fields and does not require annotations. Extensive experiments on the comprehensive MVTec 3D Anomaly Detection dataset highlight the effectiveness of our approach, which outperforms the next-best method by a large margin. Ablation studies show that our approach meets the requirements of practical applications regarding performance, runtime, and memory consumption.

研究动机与目标

• 解决工业和现实应用中高分辨率3D点云缺乏有效无监督异常检测方法的问题。
• 克服现有3D方法依赖随机权重初始化或需要标注数据的局限性。
• 开发一种适用于3D局部几何描述符的预训练协议，使其在无需人工标注的情况下泛化至异常检测任务。
• 在不进行中间下采样或体素化处理的前提下，实现密集的、高分辨率的异常定位。
• 仅使用无异常训练数据，建立3D异常检测的新SOTA基准。

提出的方法

• 通过在无异常数据上训练学生网络以回归预训练教师网络的几何描述符，将2D学生-教师异常检测框架适配至3D。
• 设计一种教师网络的自监督预训练策略，无需标注即可重建3D点云中的局部感受野。
• 设计局部特征聚合模块，利用有限的感受野从每个输入点提取密集的、逐点的几何描述符。
• 通过重建头训练教师网络，使其从学习到的描述符中预测原始局部几何结构。
• 在推理阶段，通过计算每个3D点的学生预测描述符与教师目标描述符之间的L2回归误差，生成异常分数。
• 通过避免体素化或下采样，实现在全分辨率点云上的推理，从而保持空间保真度。

实验结果

研究问题

• RQ1 针对3D局部几何描述符的自监督预训练策略是否能提升3D点云中无监督异常检测的性能？
• RQ2 适配至3D的学生-教师框架是否在MVTec 3D-AD基准上优于从随机初始化训练的现有方法？
• RQ3 该方法对预训练数据集和初始化所用特征提取器的变化有多强的鲁棒性？
• RQ4 在实际部署场景中，该方法在保持高性能的同时，其运行时效率和内存效率如何？
• RQ5 是否可以在不进行中间下采样或体素化处理的前提下，实现密集的、高分辨率的异常定位？

主要发现

• 所提出的3D-ST方法在MVTec 3D异常检测数据集上达到最先进性能，显著优于次优方法。
• 消融实验表明，该方法计算效率高，内存消耗低，推理速度快，适合实际部署。
• 自监督预训练策略使教师网络学习到通用且可迁移的几何描述符，在不同数据集间具有良好泛化能力。
• 在不同预训练数据集（如ITODD、3DMatch）上性能稳定，仅在KITTI上因领域偏移略有下降，表明方法具有强鲁棒性。
• 将预训练教师网络替换为PPF-FoldNet或FCGF的特征后，性能优于从零开始训练，但仍不及所提方法。
• 定性结果表明，该方法能准确实现点级别的异常定位，在MVTec 3D-AD数据集上对几何偏差具有高精度识别能力。