[论文解读] DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in Autonomous Driving

Wencheng Han, Dongqian Guo+2 more|arXiv (Cornell University)|Jan 8, 2024

Advanced Neural Network Applications被引用 4

一句话总结

DME-Driver 提出了一种新颖的自动驾驶系统，该系统将大型视觉语言模型（LVLM）作为基于逻辑的决策者，将面向规划的感知模型作为执行者，以提升可解释性与控制精度。通过利用人类驾驶员的行为逻辑与精确的3D场景感知，该系统在实现最先进规划精度（L2: 0.98m）的同时，具备完整的决策可追溯性。

ABSTRACT

In the field of autonomous driving, two important features of autonomous driving car systems are the explainability of decision logic and the accuracy of environmental perception. This paper introduces DME-Driver, a new autonomous driving system that enhances the performance and reliability of autonomous driving system. DME-Driver utilizes a powerful vision language model as the decision-maker and a planning-oriented perception model as the control signal generator. To ensure explainable and reliable driving decisions, the logical decision-maker is constructed based on a large vision language model. This model follows the logic employed by experienced human drivers and makes decisions in a similar manner. On the other hand, the generation of accurate control signals relies on precise and detailed environmental perception, which is where 3D scene perception models excel. Therefore, a planning oriented perception model is employed as the signal generator. It translates the logical decisions made by the decision-maker into accurate control signals for the self-driving cars. To effectively train the proposed model, a new dataset for autonomous driving was created. This dataset encompasses a diverse range of human driver behaviors and their underlying motivations. By leveraging this dataset, our model achieves high-precision planning accuracy through a logical thinking process.

研究动机与目标

• 为解决端到端基于规划的自动驾驶系统中可解释性不足的问题。
• 克服基于 LLM 的系统无法通过决策反馈优化感知任务的局限性。
• 将类人决策逻辑与高精度 3D 场景感知相结合，实现可靠的自动驾驶导航。
• 构建一个新的数据集（HBD），用于捕捉人类驾驶员行为、视线与决策逻辑，以支持训练。
• 实现在自动驾驶车辆中可追溯、可问责且与人类对齐的决策。

提出的方法

• 决策者为通过模仿学习在真实世界驾驶数据上训练的大型视觉语言模型（LVLM），以模仿人类驾驶员的逻辑与推理过程。
• 执行者为面向规划的感知模型，可将高层决策转化为精确的车辆控制信号。
• 系统采用两阶段架构：决策者对驾驶场景进行推理并生成逻辑指令，执行者基于这些指令生成控制信号。
• 在决策者与执行者之间应用一致性损失，以对齐其输出并提升决策可靠性。
• 引入 HBD 数据集，其中包含多样的人类驾驶员行为、视线数据与决策逻辑，用于训练与评估。
• 通过记录基于 LVLM 的决策者推理过程，实现决策的完整可追溯性。

Figure 1: Comparative Structures in Autonomous Driving Systems: (a) depicts an planning-oriented autonomous driving system that optimizes for overall performance using planning results, but lacks interpretability; (b) shows an LLM-based autonomous driving system capable of producing reasonable contr

实验结果

研究问题

• RQ1 基于 LVLM 的决策者是否能在复杂驾驶场景中有效模拟人类驾驶员的逻辑？
• RQ2 在逻辑决策输出的引导下，面向规划的感知模型是否能生成准确的控制信号？
• RQ3 将人类决策逻辑与高精度 3D 感知相结合，是否能提升整体规划精度与系统可靠性？
• RQ4 系统是否能在实现最先进性能的同时保持可解释性？
• RQ5 决策者与执行者之间的的一致性损失机制如何提升决策对齐性与系统鲁棒性？

主要发现

• DME-Driver 实现了 0.98m 的 L2 规划误差，优于先前方法如 UniAD（1.03m）和 ST-P3（2.11m）。
• 系统展现出更优的逻辑理解能力，在逻辑基准测试中得分达 80.3，显著高于 LLaVA-13B（48.2）与 GPT-4V（65.4）。
• 消融实验表明，决策者与执行者均不可或缺，完整系统相比仅使用执行者的基线设置，L2 误差降低了 0.05m。
• 引入真实语言提示（GT+Executor）可略微提升性能，表明准确决策引导具有重要价值。
• 一致性损失机制虽使 L2 误差略有上升（0.98m vs. 0.96m），但显著提升了决策与执行之间的对齐性，增强了系统可靠性。
• HBD 数据集使模型能够学习多样的人类行为，包括视线模式与决策依据，支持可解释且与人类对齐的驾驶决策。

Figure 2: HBD Dataset Annotation Pipeline: There are four key steps in our dataset creation - Data Collection, Prompt Design, Manual Corrections, and Dialogue Generation, streamlining the process from raw data gathering to structured dialogue formation.