[论文解读] Empowering Autonomous Driving with Large Language Models: A Safety Perspective

Yixuan Wang, Ruochen Jiao+6 more|arXiv (Cornell University)|Nov 28, 2023

Topic Modeling被引用 7

一句话总结

本文提出将大型语言模型（LLMs）集成到自动驾驶系统中作为具备安全意识的决策者，通过安全验证器实现上下文安全学习，以提升在长尾场景下的性能与鲁棒性。案例研究显示，LLMs 在保持上下文推理与反馈回路的前提下，增强了决策、感知与预测能力。

ABSTRACT

Autonomous Driving (AD) encounters significant safety hurdles in long-tail unforeseen driving scenarios, largely stemming from the non-interpretability and poor generalization of the deep neural networks within the AD system, particularly in out-of-distribution and uncertain data. To this end, this paper explores the integration of Large Language Models (LLMs) into AD systems, leveraging their robust common-sense knowledge and reasoning abilities. The proposed methodologies employ LLMs as intelligent decision-makers in behavioral planning, augmented with a safety verifier shield for contextual safety learning, for enhancing driving performance and safety. We present two key studies in a simulated environment: an adaptive LLM-conditioned Model Predictive Control (MPC) and an LLM-enabled interactive behavior planning scheme with a state machine. Demonstrating superior performance and safety metrics compared to state-of-the-art approaches, our approach shows the promising potential for using LLMs for autonomous vehicles.

研究动机与目标

• 解决由于深度神经网络在长尾场景下存在黑箱特性与泛化能力差，导致自动驾驶系统缺乏公众信任与安全顾虑的问题。
• 通过利用 LLM 的推理能力与常识知识，克服当前自动驾驶软件栈在可解释性与分布外泛化方面的局限。
• 构建一个具备安全意识的框架，使 LLM 作为行为层级的决策者，结合实时安全验证与反馈，提升系统可靠性。
• 探索 LLM 在自动驾驶流水线多个组件（感知、预测、仿真）中的集成，以增强安全性与可解释性。
• 为 LLM 在自动驾驶系统中的应用提供全面的安全视角，以指导未来的研究与开发。

提出的方法

• 将 LLM 作为行为层级的决策者，通过自然语言描述的场景理解，生成车道变更或车道保持等高层驾驶动作。
• 集成一个安全验证器，实时评估 LLM 生成的控制输入的安全性，并提供反馈以实现上下文安全学习。
• 利用安全验证器的反馈，迭代优化 LLM 输出，追溯不安全决策的根源至感知、预测或行为模块并进行修正。
• 在感知中应用 LLM，通过上下文理解（如施工区域、行人行为）增强目标检测能力，并通过上下文验证减少误报。
• 在预测中利用 LLM，通过分析历史行为与自然语言输入，推断驾驶员意图与激进程度，提升对周围车辆行为的预判能力。
• 将 LLM 扩展至仿真模块，通过自然语言描述生成多样化、类人驾驶场景，标注事件，并识别通过自然语言描述的不安全边缘情况。

实验结果

研究问题

• RQ1 LLMs 是否能通过利用常识推理与上下文理解，在长尾驾驶场景中提升自动驾驶的决策能力？
• RQ2 如何将安全验证器集成到基于 LLM 的决策流水线中，以确保实时安全验证与反馈？
• RQ3 LLMs 在多大程度上可通过上下文解释与类人推理，增强感知与预测模块的能力？
• RQ4 在自动驾驶流水线多个组件（感知、预测、仿真）中使用 LLM 进行安全保障，其实际优势与局限性是什么？
• RQ5 通过 LLM 与安全验证器交互实现的上下文安全学习，如何提升系统鲁棒性与泛化能力，超越传统 DNN 方法？

主要发现

• 将 LLM 作为行为层级决策者显著提升了系统在复杂与罕见驾驶场景下的性能，得益于上下文推理能力。
• 安全验证器实现了对 LLM 生成动作的实时验证，支持反馈回路，可纠正不安全决策并提升系统可靠性。
• 案例研究证实，LLMs 通过结合上下文语言理解验证目标检测，可有效减少感知中的误报。
• LLMs 通过解读驾驶员行为、手势与交通报告，更有效地评估激进程度与意图，从而提升预测准确性。
• 仿真模块受益于 LLM 生成的自然语言场景描述，可实现对边缘情况更广泛且更真实的测试。
• 尽管存在延迟与幻觉等挑战，该框架在提升自动驾驶系统的安全性、可解释性与适应性方面展现出强大潜力。