[论文解读] LineNet: a Zoomable CNN for Crowdsourced High Definition Maps Modeling in Urban Environments

Dun Liang, Yuan-Chen Guo+5 more|arXiv (Cornell University)|Jul 16, 2018

Video Surveillance and Tracking Methods参考文献 13被引用 14

一句话总结

LineNet 是一种新颖的可缩放卷积神经网络，包含线预测层和缩放模块，可在众包城市图像中实现最先进的车道检测，即使在 GPS 数据不准确的情况下，也能实现 31.3 cm 的高精地图建模重建误差。该方法与 TTLane 数据集集成，后者是一个包含全面车道和遮挡标注的新数据集，可实现从低成本移动设备数据生成精确的高精地图。

ABSTRACT

High Definition (HD) maps play an important role in modern traffic scenes. However, the development of HD maps coverage grows slowly because of the cost limitation. To efficiently model HD maps, we proposed a convolutional neural network with a novel prediction layer and a zoom module, called LineNet. It is designed for state-of-the-art lane detection in an unordered crowdsourced image dataset. And we introduced TTLane, a dataset for efficient lane detection in urban road modeling applications. Combining LineNet and TTLane, we proposed a pipeline to model HD maps with crowdsourced data for the first time. And the maps can be constructed precisely even with inaccurate crowdsourced data.

研究动机与目标

• 解决传统高精地图制作依赖专业设备带来的高成本与可扩展性差的问题。
• 实现在 GPS 可靠性差、相机参数多变的低成本众包移动数据下，实现高精度高精地图建模。
• 开发一种深度学习模型，能够在多样化的城市道路条件下，检测并分类所有车道标线，包括被遮挡和间断的车道线段。
• 创建一个新的基准数据集 TTLane，包含道路边界、遮挡段和六种车道类型的全面标注，以支持先进的车道检测研究。
• 建立首个仅使用众包图像和 GPS 数据的端到端高精地图构建流程。

提出的方法

• LineNet 采用一种新颖的线预测（LP）层，可直接回归车道位置、方向、距离和置信度，相较于基于分割的方法，显著提升了定位精度。
• 缩放模块通过融合低分辨率缩略图的全局特征与高分辨率裁剪区域的特征，实现在不改变网络架构的前提下任意视场角放大。
• 模型在 TTLane 数据集上进行训练，该数据集包含 13,200 张图像，对六种车道类型、道路边界和遮挡段进行了详细标注。
• 车道检测结果通过结构光束法（SfM）后处理，以重建三维道路几何结构，随后基于空间一致性和方向一致性进行车道合并。
• 该流程集成 OpenSfM 实现三维重建，并利用 GPS 数据将检测到的车道对齐为一致的高精地图。
• 消融实验验证了遮挡段标注、缩放模块中的特征融合以及 LP 层各独立分支的重要性。

实验结果

研究问题

• RQ1 在真实世界众包数据约束下，具有专用线预测层的深度卷积神经网络是否能超越基于分割的方法，在车道检测精度上表现更优？
• RQ2 在城市环境中，将遮挡段纳入训练对提升车道检测鲁棒性有多大程度的改善？
• RQ3 在不增加模型复杂度的前提下，缩放模块在提升对狭窄、遥远或断裂车道线检测效果方面的有效性如何？
• RQ4 仅使用众包移动数据，能否实现端到端的高精地图构建，且在 GPS 精度差、图像质量多变的情况下仍达到亚米级精度？
• RQ5 LP 层中各独立组件——位置、方向、距离和置信度分支——对最终检测性能的影响分别是什么？

主要发现

• LineNet 在 TTLane 数据集上取得了 0.708 的 F1 分数，显著优于基线方法，且在使用方向和距离分支时，训练损失降低了 10%。
• 通过引入遮挡段训练，F1 分数从 0.637 提升至 0.708，证明了显式建模被遮挡车道部分的重要性。
• 缩放模块将 F1 分数从 0.634 提升至 0.708，显著增强了对狭窄和断裂车道线的检测精度。
• 置信度分支至关重要：若移除该分支，F1 分数降至 0.615，因为这会禁用缩放机制，使网络仅能进行第一阶段推理。
• 端到端流程重建的高精地图与真实值相比，平均误差为 31.3 cm，相较于移动设备 5 米的 GPS 误差，实现了显著改进。
• 在三种道路场景——直线、转弯和十字路口中，平均重建误差分别为 0.15 m、0.11 m 和 0.23 m，旋转误差均低于 9 度。