[论文解读] Spatial Semantic Embedding Network: Fast 3D Instance Segmentation with Deep Metric Learning

Dongsu Zhang, Junha Chun+2 more|arXiv (Cornell University)|Jul 7, 2020

3D Shape Modeling and Analysis参考文献 38被引用 13

一句话总结

本文提出空间语义嵌入网络（SSEN），一种快速高效的3D实例分割方法，通过深度度量学习在学习到的嵌入空间中将实例分割建模为聚类。通过训练网络使同一实例的点在嵌入空间中紧密聚集，而不同实例则相互分离，SSEN在ScanNet数据集上实现了最先进（SOTA）的AP性能，且速度比之前的方法快两倍以上，无需复杂的后处理或3D空间操作。

ABSTRACT

We propose spatial semantic embedding network (SSEN), a simple, yet efficient algorithm for 3D instance segmentation using deep metric learning. The raw 3D reconstruction of an indoor environment suffers from occlusions, noise, and is produced without any meaningful distinction between individual entities. For high-level intelligent tasks from a large scale scene, 3D instance segmentation recognizes individual instances of objects. We approach the instance segmentation by simply learning the correct embedding space that maps individual instances of objects into distinct clusters that reflect both spatial and semantic information. Unlike previous approaches that require complex pre-processing or post-processing, our implementation is compact and fast with competitive performance, maintaining scalability on large scenes with high resolution voxels. We demonstrate the state-of-the-art performance of our algorithm in the ScanNet 3D instance segmentation benchmark on AP score.

研究动机与目标

• 开发一种可扩展、高效的3D实例分割方法，避免复杂的预处理或后处理步骤。
• 学习一个联合嵌入空间，以编码语义和空间信息，实现准确的实例分离。
• 在保持高推理速度的同时，实现3D实例分割的最先进性能。
• 在大规模3D场景中，对遮挡、物理接触和噪声表现出鲁棒性。

提出的方法

• 该方法使用深度神经网络学习一个空间-语义嵌入空间，使同一物体实例的体素在该空间中映射得彼此靠近。
• 通过深度度量学习训练网络，以最小化嵌入空间中的类内距离并最大化类间距离。
• 通过在嵌入特征上直接应用分层密度聚类（HDBSCAN）执行实例分割，无需任何3D欧氏空间的后处理。
• 嵌入空间被设计为保留语义上下文和空间结构，即使在物体接触或遮挡情况下也能实现鲁棒聚类。
• 该框架可端到端训练，运行于体素化3D场景，通过高效的GPU和CPU流水线设计加速推理。
• 该方法避免了迭代优化、非极大值抑制或自适应阈值处理，从而降低计算开销。

实验结果

研究问题

• RQ1 是否可以通过一种简单的度量学习方法，在无需复杂后处理的情况下实现最先进的3D实例分割性能？
• RQ2 学习到的嵌入空间在复杂3D场景中，能否有效保留语义和空间结构？
• RQ3 深度度量学习能否在大规模、高分辨率3D场景中实现快速且可扩展的实例分割？
• RQ4 该方法在物体接触、遮挡或噪声等挑战性条件下表现如何？

主要发现

• SSEN在ScanNet 3D实例分割基准上实现了最先进（SOTA）的AP得分，其准确率和速度均优于现有方法。
• 该方法比目前报道的最快方法BoNet快两倍以上，仅用5分钟即可完成ScanNet验证集的推理。
• 嵌入空间有效捕捉了空间结构，表现为在场景中移动物体时聚类模式保持一致。
• 即使物体紧密相邻或发生接触，该方法仍能保持高性能，正确分离实例，而BoNet和GSPN则失败。
• 将HDBSCAN替换为均值漂移算法导致性能显著下降，且运行时间延长至一天，证实了HDBSCAN在效率和有效性方面的优势。
• 可视化结果表明，嵌入空间中距离聚类中心较远的点对应于物理上不连通或模糊的区域，表明对拓扑挑战具有鲁棒性。