[论文解读] GAIA-1: A Generative World Model for Autonomous Driving

Anthony Hu, Lloyd Russell+6 more|arXiv (Cornell University)|Sep 29, 2023

Human Motion and Animation被引用 27

一句话总结

GAIA-1 将一个世界模型转换器与一个视频扩散解码器结合，以从多模态提示生成现实感的驾驶场景，支持未来预测、场景理解和对自车行为的细粒度控制。

ABSTRACT

Autonomous driving promises transformative improvements to transportation, but building systems capable of safely navigating the unstructured complexity of real-world scenarios remains challenging. A critical problem lies in effectively predicting the various potential outcomes that may emerge in response to the vehicle's actions as the world evolves. To address this challenge, we introduce GAIA-1 ('Generative AI for Autonomy'), a generative world model that leverages video, text, and action inputs to generate realistic driving scenarios while offering fine-grained control over ego-vehicle behavior and scene features. Our approach casts world modeling as an unsupervised sequence modeling problem by mapping the inputs to discrete tokens, and predicting the next token in the sequence. Emerging properties from our model include learning high-level structures and scene dynamics, contextual awareness, generalization, and understanding of geometry. The power of GAIA-1's learned representation that captures expectations of future events, combined with its ability to generate realistic samples, provides new possibilities for innovation in the field of autonomy, enabling enhanced and accelerated training of autonomous driving technology.

研究动机与目标

• 开发一个可扩展的、无监督的世界模型，在多样条件下预测未来的驾驶事件。
• 从真实世界数据中学习有意义的高层次道路场景和动力学表示。
• 通过动作和语言提示实现对自车行为和场景元素的可控生成。
• 展示诸如长时域场景生成、泛化和三维几何理解等涌现属性。

提出的方法

• 将系统划分为世界模型和视频扩散解码器，以将场景推理与高质量视频渲染分离。
• 通过学习的图像标记器将每一帧视频表示为离散图像标记；将未来建模为序列中的下一个标记预测。
• 使用自回归变换器作为世界模型，基于过往的图像、文本和动作标记来预测下一个图像标记。
• 训练一个多任务视频扩散解码器，能够渲染高分辨率视频并在世界模型标记条件下执行时序上采样。
• 在一个大规模真实世界的英国城市驾驶数据集上进行训练，在地理和天气上实现平衡采样，以学习鲁棒表示。
• 结合多模态提示（视频、文本、动作），在推理阶段采用无分类器引导的策略，使生成的未来与文本提示保持对齐。

实验结果

研究问题

• RQ1 GAIA-1 是否能可靠地从多模态提示预测出可信的未来驾驶场景？
• RQ2 学习得到的标记和涌现表示是否能够捕捉对自动驾驶相关的高层场景结构、几何和动力学？
• RQ3 模型是否能够在单一情境下生成多种可信未来？
• RQ4 在多大程度上可以通过动作和文本提示来控制自车动力学和场景要素？
• RQ5 扩展规模（数据与计算）如何影响世界模型的性能和样本质量？

主要发现

• GAIA-1 学习了高层次结构和场景动力学，能够生成连贯、可信的驾驶场景。
• 该模型具有泛化能力并展现出创造力，生成超越训练实例的新颖未来。
• 它展示了情境感知以及对三维几何的理解，包括路况引起的俯仰/横滚等效果。
• GAIA-1 可以从想象中生成长时间、稳定的驾驶视频，并从同一情境产生多个可信未来。
• 通过文本提示和动作可以实现对自车行为和场景属性的细颗粒度控制。