[论文解读] DriveDreamer: Towards Real-world-driven World Models for Autonomous Driving

Xiaofeng Wang, Zheng Zhu+4 more|arXiv (Cornell University)|Sep 18, 2023

Autonomous Vehicle Technology and Safety被引用 15

一句话总结

DriveDreamer 构建一个真实世界驱动的基于扩散的世界模型，用于自动驾驶，实现可控驾驶视频生成和未来驾驶策略预测，分两阶段在结构化交通信息下进行训练。它在 nuScenes 上展示了改进的视频质量和开放环路驾驶规划。

ABSTRACT

World models, especially in autonomous driving, are trending and drawing extensive attention due to their capacity for comprehending driving environments. The established world model holds immense potential for the generation of high-quality driving videos, and driving policies for safe maneuvering. However, a critical limitation in relevant research lies in its predominant focus on gaming environments or simulated settings, thereby lacking the representation of real-world driving scenarios. Therefore, we introduce DriveDreamer, a pioneering world model entirely derived from real-world driving scenarios. Regarding that modeling the world in intricate driving scenes entails an overwhelming search space, we propose harnessing the powerful diffusion model to construct a comprehensive representation of the complex environment. Furthermore, we introduce a two-stage training pipeline. In the initial phase, DriveDreamer acquires a deep understanding of structured traffic constraints, while the subsequent stage equips it with the ability to anticipate future states. The proposed DriveDreamer is the first world model established from real-world driving scenarios. We instantiate DriveDreamer on the challenging nuScenes benchmark, and extensive experiments verify that DriveDreamer empowers precise, controllable video generation that faithfully captures the structural constraints of real-world traffic scenarios. Additionally, DriveDreamer enables the generation of realistic and reasonable driving policies, opening avenues for interaction and practical applications.

研究动机与目标

• 动机：需要从真实世界驾驶中推导出世界模型，而非来自仿真环境。
• 引入基于扩散的自动驾驶扩散模型（Auto-DM），以编码交通结构实现高效采样。
• 提出一个两阶段训练流程，先学习结构约束，然后进行预测性视频和动作建模。
• 实现与交通约束和文本提示对齐的可控驾驶视频生成。
• 展示 DriveDreamer 在改进感知训练和 nuScenes 上开放环路驾驶规划方面的效用。

提出的方法

• 提出 Auto-DM，通过对 HDMap、3D 框和文本提示的条件来生成驾驶视频的基于扩散的模型。
• 结合空间对齐的（HDMap）和位置（3D 框）条件，使用门控自注意力和时序注意力以确保帧间一致性。
• 使用跨注意力整合文本提示，塑造诸如天气和时间等风格属性。
• 两阶段训练：阶段1 从单帧学习交通结构约束，然后再学习视频；阶段2 使用 ActionFormer 训练视频预测世界模型，以从驾驶动作预测未来交通结构。
• ActionFormer 迭代地从过去的动作预测未来交通结构，使 Auto-DM 能生成未来驾驶视频和未来驾驶动作。
• 模型目标通过变分下界将视频预测和动作预测项结合起来，视频使用均方误差（MSE）优化，动作使用 L1（平均绝对误差）优化。

实验结果

研究问题

• RQ1 一个在真实世界驾驶视频上训练的基于扩散的世界模型，是否能理解并利用结构化交通信息（HDMaps、3D 框）来生成逼真的驾驶视频？
• RQ2 两阶段训练流程是否可在学习真实世界驾驶世界模型时提升采样效率和收敛性？
• RQ3 通过 ActionFormer 整合驾驶动作，是否能实现对未来状态的准确预测以及符合现实场景的合情驾驶策略？
• RQ4 合成驾驶视频和策略是否能提升像 nuScenes 这样的真实世界数据集上的下游感知训练和开放环路规划？

主要发现

• DriveDreamer 实现了符合结构化交通约束的可控驾驶视频生成，并且可以通过文本提示引导天气/时间等。
• 第一阶段对带有交通结构的 Auto-DM 训练提升了视频生成质量和采样效率；第二阶段的视觉-动作训练产出具有预测性的驾驶视频和动作。
• ActionFormer 通过从驾驶动作更新潜在未来条件来改进未来交通结构预测，从而提升视频真实感和策略的可信度。
• 在所报告的设置下，DriveDreamer 生成的合成数据在 nuScenes 上将 3D 物体检测指标（FCOS3D 和 BEVFusion）提高至最多 3.0 mAP 和 1.9 NDS。
• 开放环路规划评估显示，与之前的多模态方法相比，DriveDreamer 在 L2 轨迹误差（0.29 m）和碰撞率方面具有竞争力。
• 定量比较表明，使用完整管线（Auto-DM + ActionFormer）的 DriveDreamer 在 FID（14.9）和 FVD（340.8）上优于消融实验和 DriveGAN。