[论文解读] Are We Hungry for 3D LiDAR Data for Semantic Segmentation

Biao Gao, Yancheng Pan+3 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Neural Network Applications参考文献 112被引用 7

一句话总结

本综述研究了3D LiDAR语义分割中的数据饥渴问题，分析了标注数据有限对模型性能的影响。综述了现有数据集和方法，通过实验评估了数据稀缺的影响，并综合了领域特定与通用方法的解决方案，为未来3D感知中的数据效率研究提供了洞见。

ABSTRACT

3D LiDAR semantic segmentation is a pivotal task that is widely involved in many applications, such as autonomous driving and robotics. Studies of 3D LiDAR semantic segmentation have recently achieved considerable development, especially in terms of deep learning strategies. However, these studies usually rely heavily on considerable fine annotated data, while point-wise 3D LiDAR datasets are extremely insufficient and expensive to label. The performance limitation caused by the lack of training data is called the data hungry effect. This survey aims to explore whether and how we are hungry for 3D LiDAR data for semantic segmentation. Thus, we first provide an organized review of existing 3D datasets and 3D semantic segmentation methods. Then, we provide an in-depth analysis of three representative datasets and several experiments to evaluate the data hungry effects in different aspects. Efforts to solve data hungry problems are summarized for both 3D LiDAR-focused methods and general-purpose methods. Finally, insightful topics are discussed for future research on data hungry problems and open questions.

研究动机与目标

• 调查并探究缺乏足够标注的3D LiDAR数据是否以及如何限制语义分割的性能。
• 全面回顾现有的3D LiDAR数据集和最先进的语义分割方法。
• 通过实证实验在不同数据集和模型架构上评估数据饥渴效应。
• 总结并分类现有缓解3D LiDAR语义分割中数据稀缺性的技术。
• 识别数据高效3D感知领域的开放研究问题和未来方向。

提出的方法

• 系统性地回顾3D LiDAR数据集和语义分割方法，为分析建立基础。
• 在三个代表性数据集上进行深入实验，评估在不同数据规模下的性能退化情况。
• 通过消融研究分析数据饥渴效应，测量随着训练数据量减少时模型准确率的变化。
• 将现有数据高效方法分类并总结为面向3D LiDAR的特定方法和通用方法。
• 在3D分割背景下评估自监督学习、数据增强和弱监督学习等技术。
• 综合实证结果的洞见，突出减少标注依赖的有效策略。

实验结果

研究问题

• RQ1 当训练数据受限时，3D LiDAR语义分割模型的性能会下降到何种程度？
• RQ2 哪些数据高效技术在减少对大规模标注3D LiDAR数据依赖方面最为有效？
• RQ3 在低数据环境下，不同3D LiDAR数据集在数据效率和模型泛化能力方面如何比较？
• RQ4 当前数据高效方法在3D语义分割中存在哪些关键局限性？
• RQ5 在解决3D感知的数据饥渴问题方面，仍存在哪些开放的研究问题？

主要发现

• 3D LiDAR语义分割中的数据饥渴效应显著，当训练数据稀缺时，模型性能会大幅下降。
• 在三个代表性数据集上的实验表明，当数据量超过某一阈值后，性能提升迅速减弱，表明数据增加带来的收益递减。
• 自监督学习和弱监督学习方法在减少标注依赖的同时，仍能保持具有竞争力的准确率，显示出良好前景。
• 数据增强和课程学习策略在低数据条件下能提升泛化能力，尤其在结合预训练时效果更明显。
• 面向特定领域的数据高效方法（如利用几何先验或稀疏性）在低数据环境下优于通用基线方法。
• 尽管已有进展，但在数据效率方面仍存在显著差距，特别是在3D场景中罕见或稀少类别的处理上。