[论文解读] FusionLane: Multi-Sensor Fusion for Lane Marking Semantic Segmentation Using Deep Neural Networks

Ruochen Yin, Biao Yu+3 more|arXiv (Cornell University)|Mar 9, 2020

Advanced Neural Network Applications参考文献 21被引用 7

一句话总结

本文提出FusionLane，一种新颖的深度学习框架，通过融合LIDAR点云鸟瞰图（LBEV）与相机图像特征，实现高精度车道线语义分割。该方法结合DeeplabV3+主干网络与LSTM模块以利用时序上下文，并采用双分支编码器-解码器架构，在包含14,000+张标注图像的自定义数据集上达到最先进性能，其平均交并比（mIoU）比基线模型高出16.39%。

ABSTRACT

It is a crucial step to achieve effective semantic segmentation of lane marking during the construction of the lane level high-precision map. In recent years, many image semantic segmentation methods have been proposed. These methods mainly focus on the image from camera, due to the limitation of the sensor itself, the accurate three-dimensional spatial position of the lane marking cannot be obtained, so the demand for the lane level high-precision map construction cannot be met. This paper proposes a lane marking semantic segmentation method based on LIDAR and camera fusion deep neural network. Different from other methods, in order to obtain accurate position information of the segmentation results, the semantic segmentation object of this paper is a bird's eye view converted from a LIDAR points cloud instead of an image captured by a camera. This method first uses the deeplabv3+ [ ef{ref:1}] network to segment the image captured by the camera, and the segmentation result is merged with the point clouds collected by the LIDAR as the input of the proposed network. In this neural network, we also add a long short-term memory (LSTM) structure to assist the network for semantic segmentation of lane markings by using the the time series information. The experiments on more than 14,000 image datasets which we have manually labeled and expanded have shown the proposed method has better performance on the semantic segmentation of the points cloud bird's eye view. Therefore, the automation of high-precision map construction can be significantly improved. Our code is available at https://github.com/rolandying/FusionLane.

研究动机与目标

• 为解决仅使用相机进行语义分割时在高精度地图构建中缺乏准确的3D空间定位问题。
• 克服航拍或基于相机的图像存在的失真、尺度问题与背景杂乱等局限性。
• 开发一种多传感器融合框架，利用LIDAR的几何精度与相机图像的丰富纹理，实现车道线分割。
• 通过提供准确且具备3D感知能力的语义预测，实现端到端、自动化的车道级高精度地图构建。

提出的方法

• 该方法采用双分支编码器-解码器神经网络，分别处理由LIDAR生成的鸟瞰图（LBEV）点云与相机图像特征。
• 首先将相机图像转换为鸟瞰图（CBEV），并使用预训练的DeeplabV3+网络进行分割。
• 在步长为2的卷积操作后，将相机分支的分割结果与LBEV特征图进行融合。
• 集成LSTM模块以建模连续帧之间的时序依赖关系，提升分割结果的时间鲁棒性。
• 解码器采用两阶段双线性上采样，并结合编码器的跳跃连接以恢复细粒度细节。
• 最终输出为LBEV的多类别语义分割图，为每个标注的车道线提供精确的3D空间坐标。

实验结果

研究问题

• RQ1 与基于相机的图像相比，LIDAR生成的鸟瞰图（LBEV）能否为车道线分割提供更准确的3D空间定位？
• RQ2 融合相机图像特征与LIDAR点云特征在提升车道线语义分割精度方面效果如何？
• RQ3 通过LSTM引入时序上下文在多帧间对分割稳定性与精度的提升程度如何？
• RQ4 所提出的多传感器融合框架在mIoU与类别特定性能方面是否优于单传感器基线模型（仅相机或仅LIDAR）？

主要发现

• FusionLane模型在时间步长为4时达到85.35%的平均交并比（mIoU），比基线模型Modified DeeplabV3+高出16.39个百分点。
• 采用LSTM的模型（FusionLane_FcLSTM）在所有变体中mIoU最高，证明了时序建模的有效性。
• mIoU在时间步长为4时达到峰值，后续增加时间步长则性能下降，表明过多的历史上下文可能降低性能。
• 该模型在大多数车道线类别上表现优异，包括Arrow类别，尽管该类别IOU略有下降，归因于局部特征破坏。
• 像素准确率较高（91.31%），但具有误导性，因背景类别在数据集中占主导地位，凸显了mIoU作为主要指标的重要性。
• 消融实验确认，结合时序建模的LIDAR-相机融合显著优于单传感器或非时序方法。