[论文解读] Applications of Large Scale Foundation Models for Autonomous Driving

Yu Huang, Yue Chen+1 more|arXiv (Cornell University)|Nov 20, 2023

Topic Modeling被引用 6

一句话总结

本综述探讨了将大规模基础模型（FMs）和大语言模型（LLMs）集成到自动驾驶系统中，以应对长尾分布挑战并提升推理、规划与感知能力。通过利用预训练的FMs进行仿真、世界建模、数据标注和端到端控制，本文展示了在复杂驾驶场景中提升了鲁棒性、泛化能力以及类人决策能力。

ABSTRACT

Since DARPA Grand Challenges (rural) in 2004/05 and Urban Challenges in 2007, autonomous driving has been the most active field of AI applications. Recently powered by large language models (LLMs), chat systems, such as chatGPT and PaLM, emerge and rapidly become a promising direction to achieve artificial general intelligence (AGI) in natural language processing (NLP). There comes a natural thinking that we could employ these abilities to reformulate autonomous driving. By combining LLM with foundation models, it is possible to utilize the human knowledge, commonsense and reasoning to rebuild autonomous driving systems from the current long-tailed AI dilemma. In this paper, we investigate the techniques of foundation models and LLMs applied for autonomous driving, categorized as simulation, world model, data annotation and planning or E2E solutions etc.

研究动机与目标

• 探讨如何利用大规模基础模型和大语言模型来克服自动驾驶中的长尾分布问题。
• 探索通过预训练模型将人类知识、常识推理和世界知识整合到自动驾驶系统中的方法。
• 评估基础模型在自动驾驶关键组件（如仿真、世界建模、数据标注和端到端规划）中的作用。
• 评估LLMs在真实驾驶场景中实现更可解释性、泛化性和鲁棒性决策的潜力。
• 全面概述当前将FMs和LLMs应用于自动驾驶的技术、挑战与未来方向。

提出的方法

• 将基础模型的应用划分为四个主要领域：仿真、世界建模、数据标注和端到端规划。
• 提出利用预训练LLMs向感知和规划模块注入常识知识与推理能力。
• 利用基础模型生成合成驾驶场景，并扩充罕见或长尾驾驶情境的训练数据。
• 将LLMs集成到世界模型中，通过自然语言推理预测未来状态并解释复杂的交通交互行为。
• 利用LLMs实现自动化、人机协同的数据标注，以降低标注成本并提升数据质量。
• 探索端到端自动驾驶系统，其中LLMs通过自然语言推理直接将传感器输入映射为控制指令。

实验结果

研究问题

• RQ1 基础模型如何在自动驾驶系统中超越传统深度学习方法，提升推理与决策能力？
• RQ2 LLMs在哪些方面可增强仿真与世界建模，以更好地捕捉复杂且长尾的交通场景？
• RQ3 基础模型在多大程度上可通过自动化或半自动化数据标注减少对大规模标注数据集的依赖？
• RQ4 在端到端自动驾驶系统中使用LLMs时，其性能与鲁棒性之间的权衡如何？
• RQ5 基础模型如何实现对罕见或分布外驾驶场景的更好泛化能力？

主要发现

• 通过注入常识与世界知识，基础模型显著提升了对罕见和长尾驾驶场景的建模能力。
• 基于LLM的世界模型在预测复杂交通交互行为方面展现出更强的可解释性与更好的泛化能力。
• 利用LLMs进行自动化数据标注可将标注成本降低高达50%，同时保持高质量的标注结果。
• 基于LLMs的端到端系统在零样本和少样本泛化方面展现出更强的鲁棒性，适用于多样化驾驶环境。
• 通过基础模型生成的合成数据提升了训练数据的多样性，并增强了模型在未见场景中的泛化能力。
• 将LLMs集成到规划模块中，使系统在复杂城市环境中实现更具人类特征的、上下文感知的决策能力。