[论文解读] CondLaneNet: a Top-to-down Lane Detection Framework Based on Conditional Convolution

Lizhe Liu, Xiaohao Chen+2 more|arXiv (Cornell University)|May 11, 2021

Autonomous Vehicle Technology and Safety参考文献 38被引用 16

一句话总结

CondLaneNet 是一种自顶向下的车道线检测框架，采用条件卷积和逐行建模方法，以提升实例级别的区分能力，并处理密集和分叉等复杂车道拓扑结构。其在 CULane 数据集上实现了 78.14 的 F1 分数和 220 FPS 的推理速度，展现出卓越的准确率与实时性。

ABSTRACT

Modern deep-learning-based lane detection methods are successful in most scenarios but struggling for lane lines with complex topologies. In this work, we propose CondLaneNet, a novel top-to-down lane detection framework that detects the lane instances first and then dynamically predicts the line shape for each instance. Aiming to resolve lane instance-level discrimination problem, we introduce a conditional lane detection strategy based on conditional convolution and row-wise formulation. Further, we design the Recurrent Instance Module(RIM) to overcome the problem of detecting lane lines with complex topologies such as dense lines and fork lines. Benefit from the end-to-end pipeline which requires little post-process, our method has real-time efficiency. We extensively evaluate our method on three benchmarks of lane detection. Results show that our method achieves state-of-the-art performance on all three benchmark datasets. Moreover, our method has the coexistence of accuracy and efficiency, e.g. a 78.14 F1 score and 220 FPS on CULane. Our code is available at https://github.com/aliyun/conditional-lane-detection.

研究动机与目标

• 解决基于深度学习的车道线检测中车道实例级别区分的挑战。
• 克服固定实例计数和后处理聚类方法在处理密集和分叉等复杂车道拓扑结构时的局限性。
• 开发一种端到端、实时的车道线检测框架，最大限度减少后处理。
• 通过新型循环实例模块（RIM）提升对具有复杂空间配置的车道线的检测精度。

提出的方法

• 提出一种基于条件卷积的条件化车道线检测策略，以增强实例级别的区分能力。
• 采用逐行建模方法表示车道线形状，实现对实例特定形状的精确预测。
• 引入循环实例模块（RIM）以建模序列依赖关系，提升对分叉和密集车道线等复杂拓扑结构的检测能力。
• 集成 Transformer 编码器以优化上下文特征，改善提议点检测，从而提升车道线定位精度。
• 使用偏移图进行后处理优化，以提高预测车道点的准确性。
• 设计端到端流水线，最大限度减少后处理，实现实时推理。

实验结果

研究问题

• RQ1 如何在基于深度学习的车道线检测中提升车道实例级别的区分能力？
• RQ2 逐行建模和条件卷积对车道线形状预测精度有何影响？
• RQ3 循环模块能否有效建模如分叉和密集车道线等复杂车道拓扑结构？
• RQ4 Transformer 编码器如何提升提议点检测和整体车道线检测精度？
• RQ5 在保持高精度的前提下，端到端设计结合最小化后处理在多大程度上实现了实时推理？

主要发现

• CondLaneNet 在 CULane 数据集上实现了 78.14 的 F1 分数和 220 FPS 的推理速度，展现出高精度与实时性。
• 在 CurveLanes 数据集上，模型实现了 86.10 的 F1 分数，较之前最先进方法高出 4.6%。
• 消融实验表明，Transformer 编码器显著提升了提议点检测，尤其在小型模型变体中，提议点 F1 分数提升了 2.84%。
• 与基线相比，RIM 的引入使 CurveLanes 上的 F1 分数提升了 12.90 分，证实其在复杂拓扑结构检测中的有效性。
• 偏移图和 Transformer 编码器均对性能有正向贡献，其中后者在准确提议点检测中尤为关键。
• 在消融版本中，若将标准模型的提议热力图替换回原版，性能可恢复至接近原始水平，证明编码器在优化提议质量方面起着关键作用。