[论文解读] 3DOS: Towards 3D Open Set Learning -- Benchmarking and Understanding Semantic Novelty Detection on Point Clouds

Antonio Alliegro, Francesco Cappio Borlino+1 more|arXiv (Cornell University)|Jul 23, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出3DOS，首个针对点云数据的3D开放集学习基准，评估方法在合成到合成、真实到真实以及合成到真实三种设置下的表现，以衡量点云中的语义新颖性检测能力。研究发现，如余弦原型和MSP等简单方法配合PointNet++，通常优于复杂的SOTA 2D开放集技术，凸显了领域偏移的挑战以及PointNet++在真实场景中的鲁棒性。

ABSTRACT

In recent years there has been significant progress in the field of 3D learning on classification, detection and segmentation problems. The vast majority of the existing studies focus on canonical closed-set conditions, neglecting the intrinsic open nature of the real-world. This limits the abilities of robots and autonomous systems involved in safety-critical applications that require managing novel and unknown signals. In this context exploiting 3D data can be a valuable asset since it provides rich information about the geometry of perceived objects and scenes. With this paper we provide the first broad study on 3D Open Set learning. We introduce 3DOS: a novel testbed for semantic novelty detection that considers several settings with increasing difficulties in terms of semantic (category) shift, and covers both in-domain (synthetic-to-synthetic, real-to-real) and cross-domain (synthetic-to-real) scenarios. Moreover, we investigate the related 2D Open Set literature to understand if and how its recent improvements are effective on 3D data. Our extensive benchmark positions several algorithms in the same coherent picture, revealing their strengths and limitations. The results of our analysis may serve as a reliable foothold for future tailored 3D Open Set methods.

研究动机与目标

• 为解决3D开放集学习在真实世界部署场景中因分布偏移导致的缺乏标准化评估问题。
• 在3D点云数据上基准化现有的2D开放集方法，以评估其可迁移性与有效性。
• 识别在3D点云分类中应对语义与领域偏移时最具鲁棒性的架构与方法。
• 提供一个全面且可复现的基准，以支持未来针对3D开放集学习方法的定制化发展。

提出的方法

• 提出3DOS，一个包含合成、真实到真实以及合成到真实三种路径的多轨道基准，用于评估逐步增强的分布偏移水平。
• 采用多种主干网络（如PointNet++、DGCNN等）分析架构选择对开放集性能的影响。
• 应用一系列异常检测技术，包括MSP、ODIN、能量分数、GradNorm、ReAct，以及基于距离的方法（如余弦原型和CE(L²)）。
• 引入SubArcFace和基于mixup的数据增强方法，以提升在领域偏移下的泛化能力。
• 使用AUROC和FPR95作为主要指标，评估所有基准中的检测性能。
• 对主干网络选择与方法性能开展消融研究，包括闭集准确率的对比。

实验结果

研究问题

• RQ1 当应用于3D点云数据并在不同分布偏移条件下，SOTA 2D开放集方法表现如何？
• RQ2 在3D开放集学习中，PointNet++与DGCNN哪个主干网络在应对领域与语义偏移时展现出更优的鲁棒性？
• RQ3 语义偏移与领域偏移的组合在多大程度上会降低现有开放集方法在3D中的性能？
• RQ4 在3D场景中，简单的表示学习方法（如MSP或余弦原型）是否能超越复杂的SOTA 2D异常检测技术？
• RQ5 在模型泛化能力方面，三个基准轨道（合成、真实到真实、合成到真实）的相对难度如何？

主要发现

• PointNet++在所有基准中均持续优于DGCNN，展现出对真实世界数据中噪声与领域偏移的更强鲁棒性。
• 在合成到真实基准中，MSP基线配合PointNet++的AUROC高出8.9个百分点，FPR95高出7.4个百分点，优于其在DGCNN上的表现。
• 在真实到真实基准中，余弦原型在DGCNN与PointNet++上均取得最佳整体性能，优于更复杂的方法。
• SubArcFace在所有主干网络与设置下均取得最高平均AUROC，表明其在领域偏移下具有强大泛化能力。
• 先进方法相较于MSP的性能提升在合成基准中最为显著（+3.1 AUROC），但在跨域设置中显著减弱（真实到真实仅提升+0.6 AUROC），表明在真实世界部署中增益有限。
• 基于距离的方法（如CE(L²)与余弦原型）对点云密度变化的敏感度低于基线方法，表明其对稀疏性具有内在鲁棒性。