[论文解读] HDMapNet: A Local Semantic Map Learning and Evaluation Framework.

Qi Li, Yue Wang+2 more|arXiv (Cornell University)|Jul 13, 2021

Robotics and Sensor-Based Localization参考文献 37被引用 15

一句话总结

HDMapNet 是一种新颖的框架，用于从车载传感器（如摄像头和LiDAR）学习局部语义地图，以鸟瞰图形式预测矢量化地图元素。该方法在nuScenes数据集上相比基线模型性能提升超过50%，通过融合传感器特征并引入新的语义级与实例级评估指标，推动了地图学习的发展。

ABSTRACT

Estimating local semantics from sensory inputs is a central component for high-definition map constructions in autonomous driving. However, traditional pipelines require a vast amount of human efforts and resources in annotating and maintaining the semantics in the map, which limits its scalability. In this paper, we introduce the problem of local semantic map learning, which dynamically constructs the vectorized semantics based on onboard sensor observations. Meanwhile, we introduce a local semantic map learning method, dubbed HDMapNet. HDMapNet encodes image features from surrounding cameras and/or point clouds from LiDAR, and predicts vectorized map elements in the bird's-eye view. We benchmark HDMapNet on nuScenes dataset and show that in all settings, it performs better than baseline methods. Of note, our fusion-based HDMapNet outperforms existing methods by more than 50% in all metrics. In addition, we develop semantic-level and instance-level metrics to evaluate the map learning performance. Finally, we showcase our method is capable of predicting a locally consistent map. By introducing the method and metrics, we invite the community to study this novel map learning problem. Code and evaluation kit will be released to facilitate future development.

研究动机与目标

• 解决传统高精地图构建中严重依赖人工标注与维护所导致的可扩展性限制。
• 提出局部语义地图学习问题，即从实时传感器输入动态生成矢量化地图元素。
• 开发统一框架 HDMapNet，融合图像与点云特征，以鸟瞰图形式预测结构化、语义化的地图元素。
• 提出新的语义级与实例级评估指标，以客观评估地图学习性能。
• 展示该方法在真实驾驶场景中生成局部一致、高质量地图预测的能力。

提出的方法

• HDMapNet 将多模态传感器输入——来自周围摄像头的图像与来自LiDAR的点云——编码到共享特征空间中。
• 其采用特征融合机制，结合视觉与几何表征，以增强对环境的语义理解。
• 模型通过可学习的头部网络，在鸟瞰图表示中预测矢量化地图元素（如可行驶区域、车道线、交通标志）。
• 可微分的矢量化头部将密集特征图转换为适合下游自动驾驶任务的离散、结构化地图元素。
• 该框架采用多任务学习目标，联合优化多种地图元素类型，提升泛化能力与一致性。
• 该方法在 nuScenes 数据集上进行训练与评估，重点关注真实城市驾驶序列的端到端性能。

实验结果

研究问题

• RQ1 深度学习模型能否有效直接从原始传感器数据预测矢量化、语义化的地图元素，而无需人工标注的地图？
• RQ2 与单一模态基线相比，摄像头与LiDAR特征的融合在多大程度上提升了局部语义地图预测的准确率与鲁棒性？
• RQ3 所提出的语义级与实例级指标在多大程度上能可靠评估所学局部地图的质量？
• RQ4 HDMapNet 能否生成适用于实时自动驾驶应用的局部一致地图表示？
• RQ5 与传统地图构建流水线相比，端到端学习地图元素能带来多大的性能提升？

主要发现

• 在 nuScenes 数据集上，HDMapNet 在所有评估指标上均优于所有基线方法，所有设置下的性能提升均超过50%。
• 基于特征融合的 HDMapNet 变体表现最佳，证明了结合视觉与 LiDAR 特征在地图学习中的有效性。
• 所提出的语义级与实例级指标相比传统指标，能更全面、可靠地评估地图预测质量。
• HDMapNet 有效生成了局部一致的地图表示，其中地图元素（如车道与可行驶区域）之间保持了连贯的空间关系。
• 该框架在多样化城市驾驶场景中泛化能力出色，在复杂动态环境中仍保持高精度。
• 代码与评估工具包的发布保障了结果可复现性，并推动了端到端局部语义地图学习领域的未来研究。