[论文解读] LATR: 3D Lane Detection from Monocular Images with Transformer

Yueru Luo, Chaoda Zheng+5 more|arXiv (Cornell University)|Aug 8, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

LATR 提出了一种基于 Transformer 的端到端 3D 车道检测框架，直接从单目前视图像预测 3D 车道，无需依赖 BEV 等代理 3D 表示。它采用车道感知查询和动态 3D 地面位置嵌入，以增强特征对齐与性能，在 OpenLane 数据集上实现了 11.4 的 F1 分数提升，达到 SOTA 水平。

ABSTRACT

3D lane detection from monocular images is a fundamental yet challenging task in autonomous driving. Recent advances primarily rely on structural 3D surrogates (e.g., bird's eye view) built from front-view image features and camera parameters. However, the depth ambiguity in monocular images inevitably causes misalignment between the constructed surrogate feature map and the original image, posing a great challenge for accurate lane detection. To address the above issue, we present a novel LATR model, an end-to-end 3D lane detector that uses 3D-aware front-view features without transformed view representation. Specifically, LATR detects 3D lanes via cross-attention based on query and key-value pairs, constructed using our lane-aware query generator and dynamic 3D ground positional embedding. On the one hand, each query is generated based on 2D lane-aware features and adopts a hybrid embedding to enhance lane information. On the other hand, 3D space information is injected as positional embedding from an iteratively-updated 3D ground plane. LATR outperforms previous state-of-the-art methods on both synthetic Apollo, realistic OpenLane and ONCE-3DLanes by large margins (e.g., 11.4 gain in terms of F1 score on OpenLane). Code will be released at https://github.com/JMoonr/LATR .

研究动机与目标

• 解决代理视图方法中因逆透视映射（IPM）导致的 3D 车道检测特征错位问题。
• 消除对中间 3D 代理表示（如 BEV）的依赖，以提升特征对齐与效率。
• 通过在 2D 前视特征中注入动态更新的 3D 地面平面，实现 3D 空间先验，提升 3D 车道检测精度。
• 设计一种基于查询的检测机制，同时捕捉车道级与点级空间特征，以增强泛化能力。
• 在不依赖深度估计或深度监督的前提下，实现在多个基准数据集上的 SOTA 性能。

提出的方法

• 提出一种车道感知查询生成器，融合车道级与点级嵌入，生成具备增强空间与语义先验的查询表示。
• 采用动态 3D 地面位置嵌入机制，通过迭代优化假设的 3D 地面平面，以匹配真实道路几何结构。
• 通过学习查询与 3D 感知特征之间的交叉注意力，直接在前视空间中预测 3D 车道坐标。
• 通过将 2D 图像像素投影到迭代更新的 3D 地面平面，构建 3D 位置嵌入，实现 2D-3D 特征对齐。
• 在 Transformer 解码器中应用多头交叉注意力，聚合上下文信息，并通过集合预测头生成 3D 车道预测。
• 采用混合嵌入策略，结合 2D 特征图与 3D 位置信息，以提升查询表示质量。

实验结果

研究问题

• RQ1 能否在不将特征转换为 BEV 等代理 3D 空间的情况下，直接在前视图像上有效实现 3D 车道检测？
• RQ2 如何有效将 3D 空间先验注入 2D 前视特征，以提升 3D 车道定位精度？
• RQ3 使用同时包含车道级与点级嵌入的车道感知查询，对检测性能有何影响？
• RQ4 与固定平面或圆锥体基替代方案相比，动态 3D 地面位置嵌入在特征对齐与精度方面表现如何？
• RQ5 端到端、无锚点、无 NMS 的 Transformer 架构能否在真实世界 3D 车道检测基准上超越现有方法？

主要发现

• LATR 在 OpenLane 数据集上相比之前 SOTA 方法实现了 11.4 的绝对 F1 分数提升，达到 70.4 F1。
• 在 ApolloScape 数据集上，LATR 相比先前方法提升了 4.3 分 F1，达到 61.5 F1。
• 在 ONCE-3DLanes 数据集上，LATR 实现了 6.26 的 F1 分数提升，展现出在多样化真实场景中的强大泛化能力。
• 消融实验表明，将车道级与点级嵌入结合于查询中可获得更优性能（70.4 F1），优于仅使用车道级查询（66.5 F1）。
• 动态 3D 地面位置嵌入优于固定平面与圆锥体基替代方案，达到 70.4 F1 且 X 和 Z 方向误差更低。
• 该模型在复杂道路几何结构下表现出鲁棒性，并在陡坡等挑战性条件下仍保持高精度。