[论文解读] Complementing Onboard Sensors with Satellite Map: A New Perspective for HD Map Construction

Wenjie Gao, Jiawei Fu+4 more|arXiv (Cornell University)|Aug 29, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

本文提出了一种分层融合框架，将卫星地图与车载传感器数据融合，以提升高精地图构建性能，尤其在远距离和遮挡场景下表现显著。通过引入带掩码的交叉注意力机制进行特征级融合，以及鸟瞰图（BEV）级对齐，该方法在三种最先进的高精地图模型上显著提升了语义分割与实例检测性能，在引入卫星地图增强的nuScenes数据集上，mIoU最高提升达+20.8。

ABSTRACT

High-definition (HD) maps play a crucial role in autonomous driving systems. Recent methods have attempted to construct HD maps in real-time using vehicle onboard sensors. Due to the inherent limitations of onboard sensors, which include sensitivity to detection range and susceptibility to occlusion by nearby vehicles, the performance of these methods significantly declines in complex scenarios and long-range detection tasks. In this paper, we explore a new perspective that boosts HD map construction through the use of satellite maps to complement onboard sensors. We initially generate the satellite map tiles for each sample in nuScenes and release a complementary dataset for further research. To enable better integration of satellite maps with existing methods, we propose a hierarchical fusion module, which includes feature-level fusion and BEV-level fusion. The feature-level fusion, composed of a mask generator and a masked cross-attention mechanism, is used to refine the features from onboard sensors. The BEV-level fusion mitigates the coordinate differences between features obtained from onboard sensors and satellite maps through an alignment module. The experimental results on the augmented nuScenes showcase the seamless integration of our module into three existing HD map construction methods. The satellite maps and our proposed module notably enhance their performance in both HD map semantic segmentation and instance detection tasks.

研究动机与目标

• 解决车载传感器在高精地图构建过程中于远距离探测与遮挡敏感环境下的局限性。
• 探索基于云的卫星地图作为实时高精地图生成的互补数据源的潜力。
• 开发一种无缝融合机制，实现在特征级与鸟瞰图（BEV）级同时融合卫星地图数据与车载传感器特征。
• 发布一个增强卫星地图的nuScenes新数据集，以支持未来高精地图构建研究。
• 在多种现有高精地图构建方法上验证卫星地图融合的有效性。

提出的方法

• 使用粗略坐标变换为每个nuScenes样本生成卫星地图图块，使其与数据集自定义坐标系对齐。
• 提出一种分层融合模块，包含特征级融合与BEV级融合，以整合卫星与传感器数据。
• 在特征级采用掩码生成器与带掩码的交叉注意力机制，利用相关卫星地图信息优化车载传感器特征。
• 在BEV级使用坐标对齐模块，以校正粗略变换后残留的偏差。
• 将融合模块应用于三种现有高精地图构建模型：HDMapNet、VectorMapNet与MapTR。
• 使用距离掩码与分割掩码，在基于注意力的融合过程中抑制无关或错误的卫星地图特征。

实验结果

研究问题

• RQ1 卫星地图能否在远距离与遮挡场景下有效提升高精地图构建性能？
• RQ2 在实时高精地图生成流程中，如何高效且准确地将卫星地图数据与车载传感器数据融合？
• RQ3 卫星地图与传感器数据之间的坐标错位对地图构建性能有何影响？
• RQ4 不同融合策略（拼接、注意力、带掩码注意力）对最终地图质量的影响如何？
• RQ5 卫星地图融合在多种高精地图构建模型上的性能提升程度如何？

主要发现

• 将卫星地图与车载传感器数据融合后，应用于HDMapNet时，高精地图语义分割的mIoU提升达+20.8。
• 所提出的分层融合模块使VectorMapNet的实例检测mAP提升+7.9，MapTR提升+2.3。
• 即使采用简单的特征拼接方式，也能在120m×60m评估区域内使mIoU最高提升+27.9%，证明了卫星数据的价值。
• 消融实验证实，采用距离掩码与分割掩码的带掩码交叉注意力机制相比标准注意力，mIoU高出1.6，有效减少了无关地图内容的干扰。
• BEV级对齐模块相比未对齐融合，性能提升1.0 mIoU，证明其在纠正坐标偏差方面具有必要性。
• 定性结果表明，即使在未被卫星地图覆盖的区域，性能仍保持一致提升，归因于掩码对噪声与无关特征的有效抑制。