[论文解读] LMDrive: Closed-Loop End-to-End Driving with Large Language Models

Hao Shao, Yuxuan Hu+4 more|arXiv (Cornell University)|Dec 12, 2023

Topic Modeling被引用 4

一句话总结

LMDrive 是首个将自然语言指令与多模态传感器数据（摄像头和激光雷达）通过冻结的大规模语言模型（LLM）集成的端到端、闭环自主驾驶框架，实现了实时、语言引导的控制。它在 LangAuto 基准测试中达到最先进性能，在复杂、长时程驾驶场景中展现出类人的推理与指令遵循能力。

ABSTRACT

Despite significant recent progress in the field of autonomous driving, modern methods still struggle and can incur serious accidents when encountering long-tail unforeseen events and challenging urban scenarios. On the one hand, large language models (LLM) have shown impressive reasoning capabilities that approach "Artificial General Intelligence". On the other hand, previous autonomous driving methods tend to rely on limited-format inputs (e.g. sensor data and navigation waypoints), restricting the vehicle's ability to understand language information and interact with humans. To this end, this paper introduces LMDrive, a novel language-guided, end-to-end, closed-loop autonomous driving framework. LMDrive uniquely processes and integrates multi-modal sensor data with natural language instructions, enabling interaction with humans and navigation software in realistic instructional settings. To facilitate further research in language-based closed-loop autonomous driving, we also publicly release the corresponding dataset which includes approximately 64K instruction-following data clips, and the LangAuto benchmark that tests the system's ability to handle complex instructions and challenging driving scenarios. Extensive closed-loop experiments are conducted to demonstrate LMDrive's effectiveness. To the best of our knowledge, we're the very first work to leverage LLMs for closed-loop end-to-end autonomous driving. Codes, models, and datasets can be found at https://github.com/opendilab/LMDrive

研究动机与目标

• 为解决当前自主驾驶系统在应对长尾事件和复杂城市场景时的局限性，通过实现语言引导的推理来提升性能。
• 通过将自然语言指令作为第一类输入，克服模块化与端到端驾驶系统中刚性、固定格式的输入限制。
• 通过自然语言实现实时、闭环的自动驾驶车辆与人类乘客或导航软件之间的交互。
• 建立一个基准和数据集，用于评估在真实、复杂驾驶场景中基于语言的闭环自主驾驶系统。

提出的方法

• 利用冻结的预训练大规模语言模型（LLM）作为推理核心，以保持泛化能力和推理能力。
• 通过专用视觉编码器（2D 使用 ResNet-50，3D 使用 PointPillars）和鸟瞰图（BEV）特征提取，融合多模态传感器输入（摄像头和激光雷达）。
• 采用 Q-Former 模块将视觉特征压缩并转换为与 LLM 上下文窗口兼容的可学习标记序列。
• 使用可学习的输入和输出适配器，连接视觉编码器输出与 LLM，实现在不更新 LLM 权重的前提下进行端到端微调。
• 在驾驶数据上采用特定任务的预训练策略，通过遮蔽自编码目标对视觉编码器进行预训练，以提升视觉表征学习能力。
• 在新收集的约 64K 条指令跟随片段数据集上，于 CARLA 模拟器中以闭环设置训练完整系统，并通过数据增强防止对提示指令的过拟合。

实验结果

研究问题

• RQ1 大规模语言模型能否在自然语言指令下，有效支持闭环、端到端的自主驾驶？
• RQ2 将自然语言指令与多模态传感器数据结合，如何提升在长尾事件和复杂城市驾驶场景中的推理能力与鲁棒性？
• RQ3 一个冻结的 LLM 搭配视觉适配器，在多样化导航任务和对抗性指令场景中，其泛化能力达到何种程度？
• RQ4 视觉预训练以及架构组件（如 Q-Former、BEV 标记使用）对语言引导驾驶智能体性能有何影响？
• RQ5 在执行序列化或冲突的导航指令时，系统如何处理时间一致性与指令模糊性问题？

主要发现

• LLaVA-v1.5 在 LangAuto 基准测试中优于其他 LLM 主干网络（包括 LLaMA、LLaMA2、Vicuna），取得最高驾驶得分 36.2，证明多模态预训练的显著优势。
• 移除 Q-Former 模块后，驾驶得分从 36.2 降至 31.7，表明通过 Q-Former 进行特征压缩对有效输入 LLM 至关重要。
• 若从 LLM 解码器中排除 BEV 标记，违规得分从 0.81 降至 0.72，证实视觉上下文对安全决策至关重要。
• 若取消视觉编码器的预训练，驾驶得分降至 16.9，证明在驾驶数据上进行预训练能显著提升视觉表征质量。
• 在 LangAuto-Notice 基准测试中，LMDrive 在处理对抗性或意外指令时，碰撞和交通违规事件减少，展现出更强的鲁棒性。
• 在 LangAuto-Sequential 基准测试中，尽管面对复杂多步指令，模型仍保持良好性能，路线完成度与驾驶得分仅出现适度下降，表明具备时间感知与指令追踪能力。