[论文解读] Fast LIDAR-based Road Detection Using Fully Convolutional Neural Networks

Luca Caltagirone, Samuel Scheidegger+2 more|arXiv (Cornell University)|Mar 10, 2017

Remote Sensing and LiDAR Applications参考文献 19被引用 24

一句话总结

本文提出了一种基于激光雷达的实时全卷积神经网络（FCN），通过将非结构化的点云转换为编码高程、反射率和密度统计信息的俯视图图像，实现道路检测。该方法在KITTI道路基准测试中达到最先进性能（MaxF: 95.58%），并在GPU硬件上实现高效实时运行，对光照条件具有鲁棒性。

ABSTRACT

In this work, a deep learning approach has been developed to carry out road detection using only LIDAR data. Starting from an unstructured point cloud, top-view images encoding several basic statistics such as mean elevation and density are generated. By considering a top-view representation, road detection is reduced to a single-scale problem that can be addressed with a simple and fast fully convolutional neural network (FCN). The FCN is specifically designed for the task of pixel-wise semantic segmentation by combining a large receptive field with high-resolution feature maps. The proposed system achieved excellent performance and it is among the top-performing algorithms on the KITTI road benchmark. Its fast inference makes it particularly suitable for real-time applications.

研究动机与目标

• 解决当前基于深度学习的激光雷达道路检测方法在不同光照条件下性能仍落后于基于相机的方法的问题。
• 仅使用激光雷达数据，开发一种快速且准确的语义分割系统用于道路检测。
• 通过利用GPU加速，实现实时推理，以支持集成到自动驾驶系统中。
• 克服基于相机的方法在光照不良或变化条件下性能下降的局限性。
• 证明激光雷达点云的俯视图表示已包含足够区分性信息，可实现高精度道路分割。

提出的方法

• 将原始激光雷达点云通过将x-y平面划分为0.1m×0.1m的网格单元，转换为200×400的俯视图图像。
• 为每个网格单元计算六种统计特征：点数、平均反射率、平均高程、标准差、最小值和最大值高程。
• 将生成的六通道俯视图图像输入具有大感受野和高分辨率特征图的全卷积神经网络（FCN）。
• 在KITTI道路基准数据集上使用数据增强进行像素级语义分割损失训练FCN。
• 使用可动态调整x范围的感兴趣区域（ROIs）聚焦于高密度点云区域，以提升性能。
• 对比两种标注方法：逆透视映射（IPM）与插值点云的直接投影，以评估标注精度对性能评估的影响。

实验结果

研究问题

• RQ1 全卷积神经网络是否能仅通过点云的俯视图表示实现激光雷达道路检测的最先进性能？
• RQ2 在不同距离激光雷达传感器的感兴趣区域（ROIs）中，FCN的性能如何变化？
• RQ3 选择俯视图标注方法（IPM与点云投影）在多大程度上影响道路检测性能的评估？
• RQ4 仅使用占用图（点的存在/不存在的二值图）是否能实现高精度分割，表明空间分布本身已具备强区分能力？
• RQ5 该系统在实时性能方面表现如何，是否适合部署于自动驾驶系统？

主要发现

• 当使用点云投影进行标注时，所提出的FCN在KITTI验证集上达到95.58%的MaxF分数。
• 性能在最大ROI距离为31米时达到峰值，当距离增至46米时，由于点密度降低，MaxF下降至95.58%。
• 与IPM相比，使用更精确的点云投影（PCP）标注方法，验证集上的精确率从92.92%提升至94.15%。
• 仅使用占用图作为输入时，系统达到95.32%的MaxF，表明点的空间分布本身已具备强大的区分能力。
• 该模型在GPU加速硬件上可实现实时运行，适合部署于自动驾驶系统。
• 该方法优于非深度学习的激光雷达基道路检测方法，并在KITTI道路基准测试中位列顶尖算法之列。