[论文解读] Are We Hungry for 3D LiDAR Data for Semantic Segmentation? A Survey and Experimental Study

Biao Gao, Yancheng Pan+3 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Neural Network Applications参考文献 220被引用 4

一句话总结

本文研究了3D LiDAR语义分割中的数据饥渴问题，分析了S3DIS、Semantic3D和SemanticKITTI数据集中数据集规模、多样性及领域差异。研究发现，长尾分布、有限的场景多样性以及显著的领域差距阻碍了模型的泛化能力，并呼吁改进数据度量标准、采用领域感知的训练方法以及统一的类别定义，以应对自主系统中持续存在的数据稀缺挑战。

ABSTRACT

3D semantic segmentation is a fundamental task for robotic and autonomous driving applications. Recent works have been focused on using deep learning techniques, whereas developing fine-annotated 3D LiDAR datasets is extremely labor intensive and requires professional skills. The performance limitation caused by insufficient datasets is called data hunger problem. This research provides a comprehensive survey and experimental study on the question: are we hungry for 3D LiDAR data for semantic segmentation? The studies are conducted at three levels. First, a broad review to the main 3D LiDAR datasets is conducted, followed by a statistical analysis on three representative datasets to gain an in-depth view on the datasets' size and diversity, which are the critical factors in learning deep models. Second, a systematic review to the state-of-the-art 3D semantic segmentation is conducted, followed by experiments and cross examinations of three representative deep learning methods to find out how the size and diversity of the datasets affect deep models' performance. Finally, a systematic survey to the existing efforts to solve the data hunger problem is conducted on both methodological and dataset's viewpoints, followed by an insightful discussion of remaining problems and open questions To the best of our knowledge, this is the first work to analyze the data hunger problem for 3D semantic segmentation using deep learning techniques that are addressed in the literature review, statistical analysis, and cross-dataset and cross-algorithm experiments. We share findings and discussions, which may lead to potential topics in future works.

研究动机与目标

• 调查3D LiDAR语义分割的深度学习模型是否因训练数据不足或不平衡而遭受数据饥渴问题。
• 通过统计分析，研究主要3D LiDAR数据集（S3DIS、Semantic3D、SemanticKITTI）的规模、多样性及分布特征。
• 评估数据集规模和多样性对最先进深度学习模型在3D语义分割中性能的影响。
• 调查现有方法论和数据集层面的解决方案，以应对数据饥渴问题，并识别未来研究的开放性挑战。
• 倡导采用标准化的类别定义、领域差距度量指标以及不确定性感知模型，以提升真实场景部署中的鲁棒性。

提出的方法

• 对3D LiDAR数据集进行了全面调查，重点关注数据规模、类别分布和场景多样性。
• 对三个代表性数据集（S3DIS、Semantic3D、SemanticKITTI）进行统计分析，量化其长尾类别分布和空间不平衡性。
• 选取三种最先进深度学习模型（如PointNet++、PointConv、Point-NeXt）进行跨数据集训练与测试，以评估在数据稀缺条件下的泛化能力。
• 执行跨数据集实验，评估模型在一种数据集上训练、在另一种数据集上测试时的性能表现，揭示领域差距的影响。
• 调查数据增强、自监督学习和领域自适应等方法论策略，以及数据集整理策略。
• 提出需要定量的领域差距度量指标和标准化的类别定义，以实现可靠模型评估和数据集共享。

实验结果

研究问题

• RQ1 当前3D LiDAR数据集在多大程度上表现出长尾类别分布和空间不平衡性，从而阻碍模型泛化？
• RQ2 数据集内部及跨数据集的场景多样性在多大程度上影响深度学习模型在3D语义分割中的性能与鲁棒性？
• RQ3 数据集之间的领域差距对模型泛化能力有何影响？混合使用多个数据集是否能提升性能？
• RQ4 目前有哪些方法论和数据集层面的策略可用于缓解数据饥渴问题？其局限性是什么？
• RQ5 在为真实世界应用创建标准化、可扩展且多样化的3D LiDAR数据集方面，仍存在哪些开放性问题？

主要发现

• 3D LiDAR数据集表现出严重的长尾类别分布，大量点云属于‘道路’等主导类别，尤其在传感器视点附近。
• 尽管S3DIS、Semantic3D和SemanticKITTI广受欢迎，但其内部多样性不足，且跨数据集差异显著，限制了模型泛化能力。
• 由于数据集之间存在显著的领域差距，混合多个数据集进行训练并不一定提升模型准确率。
• 在具有显著领域差距的数据集上测试模型会导致性能大幅下降，降低了基准评估的可靠性。
• 感知与语义差距（如遮挡、稀疏采样以及不同物体类型之间的功能相似性）对一致标注和泛化构成了根本性挑战。
• 亟需标准化的类别定义和定量的领域差距度量指标，以实现跨领域有效数据共享与模型评估。