[论文解读] BEV-TSR: Text-Scene Retrieval in BEV Space for Autonomous Driving

Tang, Tao, Dafeng Wei+13 more|arXiv (Cornell University)|Jan 2, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

BEV-CLIP 提出首个多模态 BEV（鸟瞰图）检索框架，通过融合 BEVFormer 提取的 BEV 特征与微调后的 LLaMA2 大语言模型及知识图谱生成的丰富文本嵌入，实现了自动驾驶场景下的零样本文本到场景检索。该方法在 NuScenes 数据集上实现了 87.66% 的文本到 BEV 检索准确率，通过共享跨模态提示和多任务学习，在复杂及长尾驾驶场景中表现出色。

ABSTRACT

The rapid development of the autonomous driving industry has led to a significant accumulation of autonomous driving data. Consequently, there comes a growing demand for retrieving data to provide specialized optimization. However, directly applying previous image retrieval methods faces several challenges, such as the lack of global feature representation and inadequate text retrieval ability for complex driving scenes. To address these issues, firstly, we propose the BEV-TSR framework which leverages descriptive text as an input to retrieve corresponding scenes in the Bird's Eye View (BEV) space. Then to facilitate complex scene retrieval with extensive text descriptions, we employ a large language model (LLM) to extract the semantic features of the text inputs and incorporate knowledge graph embeddings to enhance the semantic richness of the language embedding. To achieve feature alignment between the BEV feature and language embedding, we propose Shared Cross-modal Embedding with a set of shared learnable embeddings to bridge the gap between these two modalities, and employ a caption generation task to further enhance the alignment. Furthermore, there lack of well-formed retrieval datasets for effective evaluation. To this end, we establish a multi-level retrieval dataset, nuScenes-Retrieval, based on the widely adopted nuScenes dataset. Experimental results on the multi-level nuScenes-Retrieval show that BEV-TSR achieves state-of-the-art performance, e.g., 85.78% and 87.66% top-1 accuracy on scene-to-text and text-to-scene retrieval respectively. Codes and datasets will be available.

研究动机与目标

• 为解决 2D 图像检索在自动驾驶中的局限性，特别是全局特征表征能力差和文本理解能力弱的问题。
• 通过描述性文本作为输入，实现对复杂、长尾驾驶场景的零样本检索。
• 通过整合大语言模型（LLMs）和领域特定知识图谱，提升自动驾驶场景中的文本表征能力。
• 开发统一的跨模态对齐机制，有效融合 BEV 和文本特征以支持检索任务。
• 通过包含图像字幕生成的多任务学习，提升模型在罕见和复杂场景下的检索鲁棒性。

提出的方法

• 利用 BEVFormer 从摄像头输入中提取无需微调的全局多视角 BEV 特征，实现统一的 3D 场景表征。
• 采用仅解码器结构的 LLaMA2 大语言模型作为文本编码器，并通过 LoRA 微调，以更好地理解复杂的自动驾驶场景描述。
• 引入领域特定的知识图谱嵌入，以增强语义表征并提升自动驾驶场景下的泛化能力。
• 提出共享跨模态提示（SCP），在对比学习前对齐 BEV 和文本特征，实现有效的跨模态融合。
• 采用包含字幕生成头的多任务学习设置，以提升特征抽象能力和泛化性能。
• 应用对比学习，在共享潜在空间中对齐 BEV 和文本嵌入，以优化检索性能。

实验结果

研究问题

• RQ1 与 2D 图像特征相比，BEV 特征是否能显著提升文本到场景检索的全局场景表征能力？
• RQ2 微调后的 LLaMA2 是否能在理解复杂自动驾驶场景描述方面优于标准的 BERT 基础文本编码器？
• RQ3 集成知识图谱嵌入是否能增强自动驾驶场景中文本特征的语义丰富度和检索准确率？
• RQ4 共享跨模态提示能否有效对齐 BEV 和文本特征，以实现零样本检索？
• RQ5 通过包含字幕生成的多任务学习，是否能提升模型在罕见和长尾驾驶场景下的泛化能力？

主要发现

• BEV-CLIP 在 NuScenes 数据集上实现了 87.66% 的文本到 BEV 检索准确率，显著优于基线方法。
• 与基于 BERT 的基线相比，使用 LoRA 微调的 LLaMA2 在 B2T_R1 和 T2B_R1 指标上分别提升了约 6% 和 10% 的检索性能。
• 引入知识图谱嵌入增强了文本特征的语义丰富度，并提升了模型在罕见场景下的泛化能力。
• 共享跨模态提示（SCP）机制显著提升了检索指标，且无需修改主干编码器。
• 在更具多样性的 NuScenes-QA 扩展数据集上，模型仍保持强劲性能（BEV 到文本和文本到 BEV 的 rank@1 分别为 66.37% 和 67.90%），证明了其对数据分布偏移的鲁棒性。
• 可视化结果表明，BEV-CLIP 有效捕捉了 2D 方法无法表征的复杂全局场景结构，尤其在长尾场景中表现突出。