[论文解读] LIDAR-based Driving Path Generation Using Fully Convolutional Neural Networks

Luca Caltagirone, Mauro Bellone+2 more|arXiv (Cornell University)|Mar 27, 2017

Autonomous Vehicle Technology and Safety参考文献 10被引用 9

一句话总结

本文提出一种全卷积神经网络（FCN），通过融合激光雷达点云、GPS-IMU数据和驾驶方向信息，生成驾驶路径，实现无需人工标注的端到端可驾驶路径学习。该模型在40×40米感兴趣区域上达到92.60%的MaxF分数，展现出鲁棒的路径预测能力，且结果具有可解释性，接近车辆控制输出。

ABSTRACT

In this work, a novel learning-based approach has been developed to generate driving paths by integrating LIDAR point clouds, GPS-IMU information, and Google driving directions. The system is based on a fully convolutional neural network that jointly learns to carry out perception and path generation from real-world driving sequences and that is trained using automatically generated training examples. Several combinations of input data were tested in order to assess the performance gain provided by specific information modalities. The fully convolutional neural network trained using all the available sensors together with driving directions achieved the best MaxF score of 88.13% when considering a region of interest of 60x60 meters. By considering a smaller region of interest, the agreement between predicted paths and ground-truth increased to 92.60%. The positive results obtained in this work indicate that the proposed system may help fill the gap between low-level scene parsing and behavior-reflex approaches by generating outputs that are close to vehicle control and at the same time human-interpretable.

研究动机与目标

• 开发一种基于学习的系统，从真实世界传感器数据生成驾驶路径，无需耗时的人工标注。
• 通过生成既可解释又适用于车辆控制的输出，弥合低层次感知与高层次控制之间的差距。
• 通过利用从激光雷达、GPS-IMU和驾驶方向数据自动生成的训练样本，实现端到端训练。
• 评估不同传感器模态（尤其是驾驶意图）对路径预测准确率的影响。
• 通过将感知与控制解耦，在保持高性能的同时保持模块化设计。

提出的方法

• 系统使用全卷积神经网络（FCN）处理多模态输入：激光雷达点云、GPS-IMU轨迹和驾驶方向数据。
• 将GPS-IMU和驾驶方向数据转换为空间特征图，以实现与激光雷达点云表示的直接融合。
• 将激光雷达点云转换为2D占据栅格表示，强度值反映反射率和高程。
• FCN在本车坐标系下预测未来车辆位置的概率图，表示可驾驶路径。
• 使用来自GPS日志和驾驶方向的自动生成监督信号，进行端到端训练。
• 通过利用周围区域（包括遮挡区域或点云密度较低的区域）的上下文信息，提升路径预测的鲁棒性。

实验结果

研究问题

• RQ1 激光雷达、GPS-IMU和驾驶方向数据的融合如何影响驾驶路径预测的准确性？
• RQ2 融入驾驶意图在多大程度上提升了路径生成的鲁棒性和准确性？
• RQ3 全卷积神经网络是否能够在无需人工标注的情况下学习生成可解释且与控制相关的路径？
• RQ4 感兴趣区域的大小如何影响路径预测系统的性能？
• RQ5 通过利用上下文信息，模型能否在复杂场景（如交叉路口或遮挡区域）中实现泛化？

主要发现

• 在包含所有传感器输入（激光雷达、GPS-IMU和驾驶方向）的FCN上，60×60米感兴趣区域的MaxF分数达到最高，为88.13%。
• 当将感兴趣区域缩小至40×40米时，MaxF分数提升至92.60%，表明在更小、更聚焦的区域中定位精度更高。
• 引入驾驶意图信息显著提升了交叉路口处的路径预测性能，其他模型在该区域常产生不确定或错误的输出。
• 通过利用周围激光雷达数据和IMU信息的上下文线索，模型在遮挡区域表现出鲁棒性。
• 平均推理时间为0.033秒（约30 Hz），表明其在自动驾驶应用中具备实时可行性。
• 该系统优于基线模型（如直线路径预测和仅IMU模型），最佳配置（Lidar-IMU-INT）在40×40米测试集上达到93.44%的精确率和91.77%的召回率。