[论文解读] DrivingDiffusion: Layout-Guided multi-view driving scene video generation with latent diffusion model

Xiaofan Li, Yifu Zhang+1 more|arXiv (Cornell University)|Oct 11, 2023

Advanced Vision and Imaging被引用 4

一句话总结

DrivingDiffusion 提出了一种级联潜在扩散框架，能够从 3D 布局控制生成高质量、时空一致的多视角驾驶视频。通过整合跨视角注意力、关键帧控制、局部提示以及滑动窗口后处理，该方法在视频一致性和实例质量方面达到当前最先进水平，显著提升了用于数据增强时的鸟瞰图（BEV）感知性能。

ABSTRACT

With the increasing popularity of autonomous driving based on the powerful and unified bird's-eye-view (BEV) representation, a demand for high-quality and large-scale multi-view video data with accurate annotation is urgently required. However, such large-scale multi-view data is hard to obtain due to expensive collection and annotation costs. To alleviate the problem, we propose a spatial-temporal consistent diffusion framework DrivingDiffusion, to generate realistic multi-view videos controlled by 3D layout. There are three challenges when synthesizing multi-view videos given a 3D layout: How to keep 1) cross-view consistency and 2) cross-frame consistency? 3) How to guarantee the quality of the generated instances? Our DrivingDiffusion solves the problem by cascading the multi-view single-frame image generation step, the single-view video generation step shared by multiple cameras, and post-processing that can handle long video generation. In the multi-view model, the consistency of multi-view images is ensured by information exchange between adjacent cameras. In the temporal model, we mainly query the information that needs attention in subsequent frame generation from the multi-view images of the first frame. We also introduce the local prompt to effectively improve the quality of generated instances. In post-processing, we further enhance the cross-view consistency of subsequent frames and extend the video length by employing temporal sliding window algorithm. Without any extra cost, our model can generate large-scale realistic multi-camera driving videos in complex urban scenes, fueling the downstream driving tasks. The code will be made publicly available.

研究动机与目标

• 解决自动驾驶感知任务中大规模、高质量、多视角、时空一致视频数据稀缺的问题。
• 实现以 3D 布局作为条件输入的可控多视角驾驶视频生成。
• 在复杂城市场景中保持跨视角和跨帧的一致性，同时确保高保真度的实例生成。
• 开发一种可扩展的端到端框架，用于合成数据生成，并支持下游鸟瞰图（BEV）感知任务。
• 探索使用扩散模型实现具有精确几何与语义控制的多视角视频生成的可行性。

提出的方法

• 采用级联架构，结合多视角单帧生成模型、共享单视角视频生成模型以及后处理优化阶段。
• 引入带有几何约束的跨视角注意力模块，以在相同帧内强制实现多摄像机视角之间的空间一致性。
• 关键帧控制器利用首帧的多视角特征作为上下文，指导后续帧的生成，确保时间连贯性。
• 通过局部提示注入，引导特定实例（如车辆和行人）的细节化、高质量生成。
• 采用时间滑动窗口推理，将视频长度扩展至超过模型原始感受野范围。
• 后处理阶段使用微调后的多视角模型，以首帧为参考，重新优化后续帧，从而增强长时序一致性。

实验结果

研究问题

• RQ1 潜在扩散模型能否在保持高视觉保真度的前提下，从 3D 布局生成多视角、时空一致的驾驶视频？
• RQ2 在从多个摄像机视角同步生成视频帧时，如何保持跨视角一致性？
• RQ3 何种机制可确保生成视频序列在长时间范围内保持时间连贯性，避免逐帧漂移？
• RQ4 局部提示在多大程度上可提升车辆和行人等生成实例的质量？
• RQ5 该框架作为 BEV 基感知模型的数据增强策略，其有效性如何？

主要发现

• 一致性模块与局部提示的结合实现了最佳生成质量，FID 达 15.83，FVD 为 332，Object NDS 为 33.1。
• 移除一致性模块导致视角间不一致的视角表现，而移除局部提示则降低实例质量，证实二者不可或缺。
• 使用 DrivingDiffusion 进行合成数据增强后，BEV 感知性能显著提升：NDS 从 0.412 提升至 0.434，mAOE 从 0.5613 降低至 0.5130（使用 6,000 帧合成数据）。
• 通过扰动输入 3D 布局，该方法成功生成了逼真的碰撞场景和罕见场景视频，展现出强大的可控性。
• 当同时包含一致性模块与局部提示时，FVD 降低 55 分，FID 降低 0.63，表明在视频与图像质量方面均有显著提升。
• 该模型可通过滑动窗口推理生成长视频序列，并在无需额外训练成本的情况下，保持跨视角与跨帧的高一致性。