[论文解读] MapTRv2: An End-to-End Framework for Online Vectorized HD Map Construction

Bencheng Liao, Shaoyu Chen+6 more|arXiv (Cornell University)|Aug 10, 2023

Data Management and Algorithms被引用 7

一句话总结

MapTRv2 提出了一种端到端、实时的在线矢量化高精地图构建框架，采用一种新颖的排列等价建模方法，将地图元素表示为具有等价排列的点集，从而实现稳定且精确的形状学习。其在 nuScenes 和 Argoverse2 数据集上均达到最先进性能，mAP 分别为 61.5（nuScenes）和 62.6（Argoverse2），且在单张 GPU 上实现实时推理速度。

ABSTRACT

High-definition (HD) map provides abundant and precise static environmental information of the driving scene, serving as a fundamental and indispensable component for planning in autonomous driving system. In this paper, we present extbf{Map} extbf{TR}ansformer, an end-to-end framework for online vectorized HD map construction. We propose a unified permutation-equivalent modeling approach, \ie, modeling map element as a point set with a group of equivalent permutations, which accurately describes the shape of map element and stabilizes the learning process. We design a hierarchical query embedding scheme to flexibly encode structured map information and perform hierarchical bipartite matching for map element learning. To speed up convergence, we further introduce auxiliary one-to-many matching and dense supervision. The proposed method well copes with various map elements with arbitrary shapes. It runs at real-time inference speed and achieves state-of-the-art performance on both nuScenes and Argoverse2 datasets. Abundant qualitative results show stable and robust map construction quality in complex and various driving scenes. Code and more demos are available at \url{https://github.com/hustvl/MapTR} for facilitating further studies and applications.

研究动机与目标

• 解决离线高精地图构建的局限性，如成本高昂、数据过时和定位漂移问题。
• 克服现有在线矢量化高精地图方法在实时场景中效率低下和精度不足的问题。
• 开发一种统一的端到端框架，能够以高精度和高速度处理任意形状的地图元素。
• 在真实部署中常见传感器错位和相机偏差条件下，实现鲁棒性能。
• 集成中心线预测，以支持自动驾驶系统中下游规划任务。

提出的方法

• 将每个地图元素建模为一组具有等价排列的点集，以消除形状歧义并稳定训练过程。
• 提出一种分层查询嵌入方案，联合编码实例级与点级特征，实现结构化地图表示。
• 采用解耦自注意力机制，通过分离实例间与实例内注意力，降低计算成本。
• 实施分层二分图匹配，实现在实例级与点级上对预测结果与真实标签的匹配。
• 引入辅助的一对多匹配与密集监督，以加速收敛并提升定位精度。
• 在透视图与鸟瞰图中均引入辅助前景分割，以增强特征学习与几何一致性。

实验结果

研究问题

• RQ1 如何建模任意形状的地图元素，使其在几何上准确且具备排列等价性，以稳定训练？
• RQ2 何种最优架构可实现端到端、实时的矢量化高精地图构建，避免复杂后处理？
• RQ3 所提出的排列等价建模相较于自回归或基于点序列的方法，在泛化性与鲁棒性方面有何提升？
• RQ4 该框架在处理真实世界传感器噪声（如相机外参偏差）方面的能力如何？
• RQ5 该框架能否以高精度与一致性扩展至包含方向性地图元素（如中心线）？

主要发现

• MapTRv2 在 nuScenes 数据集上达到 61.5 mAP，在 Argoverse2 上达到 62.6 mAP（2D）与 61.4 mAP（3D），在准确率与速度上均优于先前最先进方法。
• 引入中心线预测后，mAP 提升至 nuScenes 的 54.0 与 Argoverse2 的 62.6，表明其在方向性地图元素上具备强大泛化能力。
• 在相机偏差条件下，模型保持鲁棒性能：在 0.1m 平移噪声下 mAP 仅下降至 58.0，在 0.01rad 旋转噪声下为 59.8。
• 运行时分析显示，主干网络占推理时间的 59.8%，而地图解码器与 PV2BEV 模块效率较高，使得在 RTX 3090 上实现约 14.1 FPS 的实时推理。
• 消融实验表明，6 层 Transformer 解码器在准确率与速度之间达到最佳平衡，mAP 在此深度达到饱和。
• 定性结果表明，该模型在复杂多样的驾驶场景中均能实现稳定且精确的地图重建，并在各视角上实现高精度 3D 矢量化渲染。