[论文解读] LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning

S P Sharan, Francesco Pittaluga+2 more|arXiv (Cornell University)|Dec 30, 2023

Natural Language Processing Techniques被引用 6

一句话总结

LLM-Assist 提出了一种混合规划框架，通过动态调用大语言模型（LLMs）来增强基于规则的规划器（PDM-Closed），从而在复杂、高不确定性的场景中提升自动驾驶性能。通过利用 LLM 根据评分后的规划器输出生成或优化规划参数，该方法在 nuPlan 基准测试的闭环反应式与非反应式设置下均实现了最先进性能。

ABSTRACT

Although planning is a crucial component of the autonomous driving stack, researchers have yet to develop robust planning algorithms that are capable of safely handling the diverse range of possible driving scenarios. Learning-based planners suffer from overfitting and poor long-tail performance. On the other hand, rule-based planners generalize well, but might fail to handle scenarios that require complex driving maneuvers. To address these limitations, we investigate the possibility of leveraging the common-sense reasoning capabilities of Large Language Models (LLMs) such as GPT4 and Llama2 to generate plans for self-driving vehicles. In particular, we develop a novel hybrid planner that leverages a conventional rule-based planner in conjunction with an LLM-based planner. Guided by commonsense reasoning abilities of LLMs, our approach navigates complex scenarios which existing planners struggle with, produces well-reasoned outputs while also remaining grounded through working alongside the rule-based approach. Through extensive evaluation on the nuPlan benchmark, we achieve state-of-the-art performance, outperforming all existing pure learning- and rule-based methods across most metrics. Our code will be available at https://llmassist.github.io.

研究动机与目标

• 解决纯学习方法与基于规则的规划器在应对多样化、复杂驾驶场景时的局限性。
• 探究 LLM 是否可通过常识推理提升闭环自动驾驶中规划的鲁棒性。
• 开发一种混合系统，仅在基础规划器置信度较低时选择性调用 LLM，以确保安全与效率。
• 生成基于物理规划器参数的可解释、有推理依据的规划决策。
• 证明 LLM 可在不替换现有基于规则规划器的前提下增强其性能，并在基准评估中实现更优表现。

提出的方法

• 基于评分的触发机制在基础规划器输出评分（如碰撞风险、舒适度）低于预设阈值时调用 LLM。
• 无约束的 LLM 规划器直接从自然语言场景描述生成 2D 轨迹坐标，绕过对规划器参数的直接控制。
• 参数控制模式允许 LLM 输出有意义的规划参数（如目标速度、车道中心线偏移量），确保物理上的合理性。
• LLM 处理由感知与预测模块生成的结构化场景描述，实现上下文感知推理。
• 系统使用 GPT-3 和 GPT-4 进行 LLM 推理，温度超参数经调优以获得最佳性能。
• 评估了开源的 Llama2-7B 模型，但发现其在未微调情况下输出格式不一致，故不适用。

实验结果

研究问题

• RQ1 LLM 是否可通过在复杂、低频场景中提供常识推理，提升自动驾驶规划性能？
• RQ2 如何将 LLM 与现有基于规则的规划器集成，以在不牺牲实时性能的前提下提升安全性、效率与舒适度？
• RQ3 触发 LLM 参与的最优策略是什么——基于规划器置信度评分，还是直接生成轨迹？
• RQ4 不同 LLM 架构（如 GPT-3 与 GPT-4）及超参数（如温度）如何影响规划结果？
• RQ5 未经微调的开源 LLM（如 Llama2）能否在该混合规划框架中有效使用？

主要发现

• LLM-Assist 在 nuPlan 基准测试的闭环反应式与非反应式设置下均实现了最先进性能，优于所有先前的基于学习与基于规则的方法。
• LLM-Assist 的参数控制模式显著提升了安全与舒适度指标，尤其在基础规划器失效或产生次优结果的场景中表现突出。
• GPT-3 在温度为 1.4 时表现最佳，表明在无约束设置下增加生成多样性有助于提升规划结果。
• 在无约束规划中，GPT-4 略优于 GPT-3；而在约束性参数控制设置中，GPT-3 略胜一筹。
• Llama2-7B 在未微调情况下不适用，因其即使在上下文示例提示下仍无法生成一致且格式特定的输出。
• 定性分析表明，LLM-Assist 能够为复杂操作（如密集交通中的变道）生成有理据、可解释的规划方案，而基础规划器则难以有效处理此类情况。