[论文解读] Deep Learning Based 3D Segmentation: A Survey

Yong He, Hongshan Yu+5 more|arXiv (Cornell University)|Mar 9, 2021

3D Shape Modeling and Analysis参考文献 172被引用 44

一句话总结

这项综述全面评估了深度学习方法在所有数据模态下的3D分割，包括 RGB-D、投影图像、体素、点云、网格和3D视频，分析了架构、数据集和未来方向。

ABSTRACT

3D segmentation is a fundamental and challenging problem in computer vision with applications in autonomous driving and robotics. It has received significant attention from the computer vision, graphics and machine learning communities. Conventional methods for 3D segmentation, based on hand-crafted features and machine learning classifiers, lack generalization ability. Driven by their success in 2D computer vision, deep learning techniques have recently become the tool of choice for 3D segmentation tasks. This has led to an influx of many methods in the literature that have been evaluated on different benchmark datasets. Whereas survey papers on RGB-D and point cloud segmentation exist, there is a lack of a recent in-depth survey that covers all 3D data modalities and application domains. This paper fills the gap and comprehensively surveys the recent progress in deep learning-based 3D segmentation techniques. We cover over 220 works from the last six years, analyze their strengths and limitations, and discuss their competitive results on benchmark datasets. The survey provides a summary of the most commonly used pipelines and finally highlights promising research directions for the future.

研究动机与目标

• 提供跨所有3D数据模态（RGB-D、投影图像、体素、点云、网格、3D视频）的深度学习3D分割技术的统一概览。
• 分析在3D分割中常用的模块单元、卷积核和架构，并讨论它们的优点与局限性。
• 总结基准数据集和评估指标，以实现方法之间的公平比较。
• 识别当前挑战并提出未来在3D分割领域的有前景的研究方向。

提出的方法

• 对近五年聚焦于3D分割的深度学习领域的代表性工作进行综述，总数超过180篇。
• 按数据表示和网络架构（RGB-D、投影图像、体素、基于点的方法、3D视频等）进行分析和分类。
• 讨论典型的分割流程，包括数据编码、融合策略和后处理步骤（例如CRFs、GNNs、transformers）。
• 在常见的3D分割数据集上进行基准比较并综合方法的优点/局限性。
• 突出3D分割领域的开放挑战和未来研究方向。

实验结果

研究问题

• RQ1 在不同数据表示（RGB-D、体素、点云、网格、3D视频）下，3D分割方法的相对优点与局限性是什么？
• RQ2 常见的架构选择（如MLP/PointNet家族、图网络、transformers）如何影响3D分割的性能与效率？
• RQ3 哪些数据集和评估指标最能反映真实世界的性能，以及方法在这些基准上的比较？
• RQ4 深度学习驱动的3D分割领域的关键开放挑战和未来有前景的研究方向是什么。

主要发现

• 该综述覆盖了过去五年超过180篇的工作，并分析了它们的优点和局限性。
• 它提供了对所有主要3D数据模态的3D分割方法的全面比较。
• 本文讨论了典型的分割流程，包括数据表示、融合策略和后处理技术。
• 它指出了有前景的未来研究方向以及基准测试和评估的实际注意事项。