[论文解读] LIP-Loc: LiDAR Image Pretraining for Cross-Modal Localization

Sai Shubodh Puligilla, Mohammad Omama+3 more|arXiv (Cornell University)|Dec 27, 2023

Multimodal Machine Learning Applications被引用 7

一句话总结

LIP-Loc 提出了一种新颖的对比学习框架，通过使用批量对比损失在配对数据上预训练2D图像和3D LiDAR编码器，实现跨模态定位。该方法仅使用透视图像和标准视觉Transformer，在KITTI-360数据集上实现了SOTA的召回率@1准确率（提升22.4%），并展现出强大的零样本泛化能力，同时在KITTI上建立了首个跨模态定位基准。

ABSTRACT

Global visual localization in LiDAR-maps, crucial for autonomous driving applications, remains largely unexplored due to the challenging issue of bridging the cross-modal heterogeneity gap. Popular multi-modal learning approach Contrastive Language-Image Pre-Training (CLIP) has popularized contrastive symmetric loss using batch construction technique by applying it to multi-modal domains of text and image. We apply this approach to the domains of 2D image and 3D LiDAR points on the task of cross-modal localization. Our method is explained as follows: A batch of N (image, LiDAR) pairs is constructed so as to predict what is the right match between N X N possible pairings across the batch by jointly training an image encoder and LiDAR encoder to learn a multi-modal embedding space. In this way, the cosine similarity between N positive pairings is maximized, whereas that between the remaining negative pairings is minimized. Finally, over the obtained similarity scores, a symmetric cross-entropy loss is optimized. To the best of our knowledge, this is the first work to apply batched loss approach to a cross-modal setting of image & LiDAR data and also to show Zero-shot transfer in a visual localization setting. We conduct extensive analyses on standard autonomous driving datasets such as KITTI and KITTI-360 datasets. Our method outperforms state-of-the-art recall@1 accuracy on the KITTI-360 dataset by 22.4%, using only perspective images, in contrast to the state-of-the-art approach, which utilizes the more informative fisheye images. Additionally, this superior performance is achieved without resorting to complex architectures. Moreover, we demonstrate the zero-shot capabilities of our model and we beat SOTA by 8% without even training on it. Furthermore, we establish the first benchmark for cross-modal localization on the KITTI dataset.

研究动机与目标

• 为解决由于模态异质性而长期未被充分探索的2D图像与3D LiDAR点云之间的跨模态定位挑战。
• 通过受CLIP启发的批量对比学习方法，弥合跨模态嵌入差距，实现联合表示学习。
• 在未见过的数据集上实现零样本迁移性能，无需微调，以证明模型的鲁棒性与泛化能力。
• 在KITTI数据集上建立首个跨模态定位基准，以促进未来研究。

提出的方法

• 构建包含N个（图像，LiDAR）配对的批量数据，以支持所有N×N配对间的对比学习。
• 联合训练图像和LiDAR编码器，以最大化正样本（匹配）对之间的余弦相似度，同时最小化负样本对之间的相似度。
• 通过相似度分数上的对称交叉熵损失进行优化，以对齐多模态嵌入空间。
• 使用标准视觉Transformer作为编码器，无需复杂架构或鱼眼图像。
• 在完整KITTI数据集上进行训练，并在KITTI-360上进行零样本评估，以展示领域泛化能力。
• 在KITTI序列和KITTI-360上进行消融研究与鲁棒性分析，以验证泛化性能。

实验结果

研究问题

• RQ1 批量对比学习方法能否有效对齐2D图像与3D LiDAR嵌入，以实现跨模态定位？
• RQ2 所提出的方法是否在仅使用透视图像和更简单架构的情况下，优于当前SOTA方法？
• RQ3 该模型能否在无需任何微调的情况下，实现对未见数据集（如KITTI-360）的零样本泛化？
• RQ4 在零样本性能方面，随着训练数据规模的增加，模型的性能如何变化？
• RQ5 当训练与测试序列之间存在分布偏移时，模型的鲁棒性如何？

主要发现

• LIP-Loc在KITTI-360数据集上的召回率@1相比SOTA方法AECMLoc提升了22.4%，且仅使用透视图像而非鱼眼图像。
• 在未在KITTI-360上进行任何训练的情况下，零样本LIP-Loc模型在KITTI-360上的表现仍比AECMLoc高出8%，证明了其强大的零样本泛化能力。
• 当在KITTI序列的80%数据上进行训练时，LIP-Loc的性能与AECMLoc相当，表明其具备良好的数据可扩展性。
• 随着训练数据的增加，LIP-Loc在KITTI-360上的零样本召回率平均提升23%，显著高于标准三元组基线的6%提升。
• 鲁棒性分析表明，当模型在KITTI子集上达到约50%召回率时，在KITTI-360上可达到约40%召回率；当子集召回率达到约80%时，KITTI-360上的召回率可达约50%，表明其具备强大的领域泛化能力。
• 该方法在KITTI数据集上建立了首个跨模态定位基准，为未来评估与比较提供了基础。