[论文解读] Deep Learning for LiDAR Point Clouds in Autonomous Driving: A Review

Ying Li, Lingfei Ma+5 more|arXiv (Cornell University)|May 20, 2020

Advanced Neural Network Applications参考文献 143被引用 25

一句话总结

本文系统综述了深度学习（DL）技术在自动驾驶LiDAR点云中的应用，重点聚焦于3D语义分割、目标检测与分类。论文调研了超过140篇关键文献，评估了最先进模型、数据集与评价指标，并识别出数据稀疏性、模型效率以及弱监督学习需求等关键挑战。

ABSTRACT

Recently, the advancement of deep learning in discriminative feature learning from 3D LiDAR data has led to rapid development in the field of autonomous driving. However, automated processing uneven, unstructured, noisy, and massive 3D point clouds is a challenging and tedious task. In this paper, we provide a systematic review of existing compelling deep learning architectures applied in LiDAR point clouds, detailing for specific tasks in autonomous driving such as segmentation, detection, and classification. Although several published research papers focus on specific topics in computer vision for autonomous vehicles, to date, no general survey on deep learning applied in LiDAR point clouds for autonomous vehicles exists. Thus, the goal of this paper is to narrow the gap in this topic. More than 140 key contributions in the recent five years are summarized in this survey, including the milestone 3D deep architectures, the remarkable deep learning applications in 3D semantic segmentation, object detection, and classification; specific datasets, evaluation metrics, and the state of the art performance. Finally, we conclude the remaining challenges and future researches.

研究动机与目标

• 为解决自动驾驶车辆中LiDAR点云深度学习应用缺乏全面综述的问题。
• 系统组织并分析3D深度学习里程碑架构及其在语义分割、目标检测与分类任务中的应用。
• 总结现有LiDAR数据集、评价指标及关键任务中的最先进性能表现。
• 识别当前深度学习方法在鲁棒数据表示、高效框架、上下文学习、多任务学习及弱监督方法方面的开放挑战与未来研究方向。

提出的方法

• 对过去五年中深度学习在LiDAR点云领域超过140篇关键贡献进行系统性文献调研。
• 根据架构设计对3D深度学习模型进行分类与比较，如PointNet、PointNet++、PointCNN、DGCNN和RotationNet。
• 分析包括体素、点云、图和2D投影在内的数据表示方法，评估其在效率与性能之间的权衡。
• 调研KITTI、nuScenes和Waymo等基准数据集，并总结mIoU、mAP和IoU等标准评价指标在语义分割与目标检测任务中的应用。
• 通过定量基准评估模型在各项任务中的性能，识别准确率、推理速度与泛化能力的趋势。
• 识别并讨论开放挑战，如数据稀疏性、缺乏端到端融合以及监督学习中泛化能力有限等问题。

实验结果

研究问题

• RQ1 哪些关键的深度学习架构推动了自动驾驶应用中3D点云处理的发展？
• RQ2 不同数据表示方式（如体素、点云、图）如何影响3D深度学习模型的性能与效率？
• RQ3 在自动驾驶中，3D语义分割、目标检测与分类任务最广泛使用哪些数据集与评价指标？
• RQ4 当前深度学习方法在LiDAR点云处理中的主要局限与开放挑战是什么，特别是针对数据稀疏性与模型泛化能力？
• RQ5 多任务学习、弱监督学习与无监督学习如何提升3D感知模型的鲁棒性与可扩展性？

主要发现

• PointNet与PointNet++通过实现排列不变性并支持无序点集的端到端学习，奠定了点云处理的基础模型。
• DGCNN与PointCNN等模型通过图卷积与自适应感受野提升了局部特征提取能力，从而增强了在复杂场景中的性能表现。
• 体素化方法提供了结构化表示，但其计算成本较高，且随分辨率呈立方级增长。
• 尽管已有进展，目前尚无公认的、在准确率与计算成本之间实现良好平衡的内存高效且鲁棒的3D数据表示方法。
• 最先进模型在KITTI与nuScenes数据集上的3D目标检测任务中mAP超过80%，但在嵌入式平台实现实时推理仍具挑战。
• 在处理稀疏与不完整点云、提取上下文信息以及减少对大规模全标注数据集依赖方面，仍存在关键挑战。