[论文解读] LaneNet: Real-Time Lane Detection Networks for Autonomous Driving

Ze Wang, Weiqiang Ren+1 more|arXiv (Cornell University)|Jul 4, 2018

Autonomous Vehicle Technology and Safety参考文献 16被引用 71

一句话总结

LaneNet 使用两阶段方法（车道边缘提议与车道线定位）以低计算成本在实时检测多样路况的车道线，并具鲁棒性。

ABSTRACT

Lane detection is to detect lanes on the road and provide the accurate location and shape of each lane. It severs as one of the key techniques to enable modern assisted and autonomous driving systems. However, several unique properties of lanes challenge the detection methods. The lack of distinctive features makes lane detection algorithms tend to be confused by other objects with similar local appearance. Moreover, the inconsistent number of lanes on a road as well as diverse lane line patterns, e.g. solid, broken, single, double, merging, and splitting lines further hamper the performance. In this paper, we propose a deep neural network based method, named LaneNet, to break down the lane detection into two stages: lane edge proposal and lane line localization. Stage one uses a lane edge proposal network for pixel-wise lane edge classification, and the lane line localization network in stage two then detects lane lines based on lane edge proposals. Please note that the goal of our LaneNet is built to detect lane line only, which introduces more difficulties on suppressing the false detections on the similar lane marks on the road like arrows and characters. Despite all the difficulties, our lane detection is shown to be robust to both highway and urban road scenarios method without relying on any assumptions on the lane number or the lane line patterns. The high running speed and low computational cost endow our LaneNet the capability of being deployed on vehicle-based systems. Experiments validate that our LaneNet consistently delivers outstanding performances on real world traffic scenarios.

研究动机与目标

• 开发一个健壮的车道检测方法，能够处理多样化的车道模式（实线、虚线、合并、分叉），且不对车道数量做强假设。
• 实现适用于基于车辆的系统且计算成本低的实时性能。
• 提供可解释的中间车道边缘提议，以提高可靠性并为车道线实现弱监督学习提供可能。
• 通过两阶段设计，在第二阶段允许弱监督，从而降低标注成本。

提出的方法

• 两阶段架构：车道边缘提议网络（像素级二分类）随后是车道线定位网络。
• 车道边缘提议使用轻量级编码器-解码器，采用深度可分离卷积和扩张卷积以提高效率与上下文信息。
• 解码器使用子像素卷积在不增加额外参数的情况下恢复分辨率。
• 车道线定位网络用类似 PointNet 的输入顺序不变编码器对车道边缘点的坐标进行编码，并使用 LSTM 解码器来预测车道参数。
• 车道线用二次函数表示；训练在固定的 Y 水平（Y=0、Y=h/2、Y=h）使用真实值作为关键点来稳定学习。
• 弱监督训练（最小距离损失）仅利用图像中的车道数量，与初始训练的有监督学习相结合。

实验结果

研究问题

• RQ1 两阶段神经网络架构在不对车道数量做固定假设的情况下，是否能够准确检测多样化的车道模式？
• RQ2 弱监督车道线训练目标对精度和数据标注成本有何影响？
• RQ3 与先前的车道检测方法相比，LaneNet 在真实公路和城市场景中的表现如何？

主要发现

难度	检测到	真阳性率	误报率
Easy	916	78.2%	9.5%
Hard	801	77.4%	15.9%
LaneNet (Easy)	1146	97.9%	2.7%
LaneNet (Hard)	1001	96.7%	3.9%

• LaneNet 在 Easy 和 Hard 子集上相对于先前方法，达到更高的真阳性率和更低的假阳性率（Easy：TPR 97.9%，FPR 2.7%；Hard：TPR 96.7%，FPR 3.9%）。
• LaneNet 检测到的车道数量多于对比方法（Easy：检测到 1146 条，对比方法 916 条），并且在虚线、实线及复杂车道模式上保持鲁棒性。
• 车道边缘提议网络在 NVIDIA Titan Xp 上最高可达 330 FPS，车道线定位网络约快 4 倍，总计实现约 250 FPS；在 Jetson TX1 上约 26 FPS。
• 完整模型大小不到 1 GB，适用于车辆部署。
• 弱监督加上额外的弱标注数据在性能上有所提升，尤其在困难场景（例如 Easy：检测 1129 条，TPR 96.4%，FPR 2.8%；经过微调后：检测 1146 条，TPR 97.9%，FPR 2.7%）。