[论文解读] Heatmap-based Vanishing Point boosts Lane Detection

Yinbo Liu, Ming Zeng+1 more|arXiv (Cornell University)|Jul 30, 2020

Autonomous Vehicle Technology and Safety参考文献 21被引用 11

一句话总结

本文提出一种多任务融合网络，通过基于热力图的消失点（VP）检测来提升复杂驾驶条件下车道检测的准确性。通过将VP预测与基于ERFNet的特征融合进行车道分割，该方法在CULane数据集上实现了最先进性能，尤其在夜间、阴影和弯道场景中表现优异。

ABSTRACT

Vision-based lane detection (LD) is a key part of autonomous driving technology, and it is also a challenging problem. As one of the important constraints of scene composition, vanishing point (VP) may provide a useful clue for lane detection. In this paper, we proposed a new multi-task fusion network architecture for high-precision lane detection. Firstly, the ERFNet was used as the backbone to extract the hierarchical features of the road image. Then, the lanes were detected using image segmentation. Finally, combining the output of lane detection and the hierarchical features extracted by the backbone, the lane VP was predicted using heatmap regression. The proposed fusion strategy was tested using the public CULane dataset. The experimental results suggest that the lane detection accuracy of our method outperforms those of state-of-the-art (SOTA) methods.

研究动机与目标

• 解决在低光照、阴影和弯曲车道等恶劣条件下车道检测准确率低的问题。
• 克服传统非深度学习方法依赖手工设计特征、鲁棒性有限的局限性。
• 将消失点（VP）信息作为几何先验，提升基于深度学习的车道检测性能。
• 开发一种通用的、端到端可训练的架构，无缝融合VP检测与车道分割，同时不牺牲推理速度。

提出的方法

• 使用ERFNet作为主干网络，从道路图像中提取分层特征。
• 通过网络的分割头进行图像分割，实现车道检测。
• 通过结合车道检测输出与ERFNet的分层特征，采用热力图回归预测消失点（VP）。
• 采用多任务融合架构（具体为LD-mid-VP结构），在车道检测后集成VP预测，实现相互监督。
• 使用归一化欧氏距离作为VP检测准确率的评估指标：$ \text{NormDist} = \frac{\|P_g - P_v\|}{\text{Diag}(I)} $，其中$P_g$和$P_v$分别为真实值和预测的VP坐标。
• 系统性地评估四种融合结构（LD-VP、VP-mid-LD、Parallel、LD-mid-VP），以确定联合学习的最优架构。

实验结果

研究问题

• RQ1 基于热力图的消失点检测是否能提升复杂驾驶场景中的车道检测准确率？
• RQ2 将VP预测与车道分割相结合，对整体检测性能有何影响？
• RQ3 哪种多任务融合架构（如LD-VP、LD-mid-VP）在准确率与鲁棒性之间达到最佳平衡？
• RQ4 VP引导在夜间、阴影和弯道等挑战性条件下在多大程度上减少了检测误差？
• RQ5 添加VP检测是否会显著增加推理时间或模型复杂度？

主要发现

• 所提出的LD-mid-VP融合结构在CULane测试集上取得了74.2%的最高总体F1值，优于其他配置。
• 在夜间和阴影类别中，该方法分别取得了69.4%和74.0%的F1值，表明在低光照和遮挡条件下具有强鲁棒性。
• 当使用ResNet34作为主干网络时，VP检测误差（NormDist）的均值为0.024049，其中5.79%的预测结果与真实值相差小于0.01。
• 添加VP检测仅使推理时间增加约1ms，表明计算开销极低。
• 使用ERFNet作为主干网络时，VP引导使F1值提升了1.1%；而使用ResNet18时，提升最高达4.0%，证实了几何先验的有效性。
• 该方法在拥挤（72.3% F1）和弯道（66.4% F1）等挑战性场景中仍保持优异性能，显著优于无VP基线方法。