[论文解读] Monocular 3D lane detection for Autonomous Driving: Recent Achievements, Challenges, and Outlooks

Fulong Ma, Weiqing Qi+6 more|arXiv (Cornell University)|Apr 10, 2024

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本综述回顾了自动驾驶中单目3D车道线检测的研究，分析了基于深度学习的最新方法、数据集、评估指标，以及遮挡、域移位和缺乏不确定性估计等挑战。文章指出了当前模型的局限性，并呼吁在自监督学习、鲁棒性以及不确定性感知预测方面取得进展，以实现更安全、更可靠的视觉自动驾驶系统。

ABSTRACT

3D lane detection is essential in autonomous driving as it extracts structural and traffic information from the road in three-dimensional space, aiding self-driving cars in logical, safe, and comfortable path planning and motion control. Given the cost of sensors and the advantages of visual data in color information, 3D lane detection based on monocular vision is an important research direction in the realm of autonomous driving, increasingly gaining attention in both industry and academia. Regrettably, recent advancements in visual perception seem inadequate for the development of fully reliable 3D lane detection algorithms, which also hampers the progress of vision-based fully autonomous vehicles. We believe that there is still considerable room for improvement in 3D lane detection algorithms for autonomous vehicles using visual sensors, and significant enhancements are needed. This review looks back and analyzes the current state of achievements in the field of 3D lane detection research. It covers all current monocular-based 3D lane detection processes, discusses the performance of these cutting-edge algorithms, analyzes the time complexity of various algorithms, and highlights the main achievements and limitations of ongoing research efforts. The survey also includes a comprehensive discussion of available 3D lane detection datasets and the challenges that researchers face but have not yet resolved. Finally, our work outlines future research directions and invites researchers and practitioners to join this exciting field.

研究动机与目标

• 提供对2018至2024年间使用深度学习的单目3D车道线检测近期成就的全面综述。
• 分析最先进算法在真实驾驶场景中的性能、时间复杂度及局限性。
• 评估现有的3D车道线检测数据集，识别数据多样性、标注质量与基准测试标准方面的不足。
• 突出显示尚未解决的挑战，如对遮挡的鲁棒性、域移位问题，以及预测中缺乏不确定性估计。
• 概述未来研究方向，包括自监督与弱监督学习，以减少对昂贵人工标注3D车道线数据的依赖。

提出的方法

• 系统分析2018至2024年间发表的47种具有代表性的单目3D车道线检测方法，按网络架构与方法分类。
• 调查12个广泛使用的3D车道线检测数据集，包括其标注格式、场景多样性及在公开评估中的表现。
• 评估当前模型中使用的损失函数，如焦点损失与3D几何一致性损失，以提升定位精度。
• 比较不同架构在模型推理速度与浮点运算量（FLOPs）方面的表现，以评估实时部署的可行性。
• 审查监督范式，重点分析全监督学习因标注成本过高而带来的局限性。
• 识别关键架构趋势，如基于几何先验的2D到3D提升、基于Transformer的特征聚合，以及多任务学习。

实验结果

研究问题

• RQ1 当前单目3D车道线检测方法中，主流的深度学习架构与设计选择是什么？
• RQ2 现有模型在公共基准测试中的表现如何？在准确性、推理速度以及对真实世界变化的鲁棒性方面表现如何？
• RQ3 单目3D车道线检测中尚未解决的主要挑战是什么？特别是遮挡、域移位以及不确定性估计问题。
• RQ4 在数据多样性、标注质量以及对复杂驾驶场景的覆盖程度方面，当前数据集之间有何差异？
• RQ5 哪些最有前景的未来研究方向能够提升系统可靠性并减少对昂贵3D车道线标注数据的依赖？

主要发现

• 当前的单目3D车道线检测模型在标准基准上表现良好，但在域移位或低光照、遮挡、恶劣天气条件下性能显著下降。
• 大多数模型依赖确定性预测，缺乏不确定性量化，限制了其在关键驾驶决策中的安全性。
• 大多数数据集在多样性方面受限，且缺乏一致的3D标注，尤其在交叉路口和弯曲道路等复杂场景中更为明显。
• 自监督与弱监督学习仍处于探索阶段，但具有显著潜力，可降低标注成本并提升模型泛化能力。
• 基于Transformer与多任务学习的模型在长距离车道线估计与几何一致性方面表现更优，但推理时间有所增加。
• 最先进模型在公开数据集上的性能与真实世界部署之间存在显著差距，主要原因是分布移位问题以及对真实世界噪声缺乏鲁棒性。