[论文解读] Improving Generative Imagination in Object-Centric World Models

Zhixuan Lin, Yifu Wu+4 more|arXiv (Cornell University)|Oct 5, 2020

Human Pose and Action Recognition参考文献 44被引用 9

一句话总结

本文提出生成式结构化世界模型（G-SWM），这是一种统一的以对象为中心的框架，整合了对象发现、交互建模、遮挡处理与可扩展性，同时引入多模态不确定性与情境感知动力学。G-SWM 在包括多对象交互与迷宫导航等复杂场景在内的多样化基准测试中，实现了时间生成任务的最先进或具有竞争力的性能，展现出超越以往模型的优越生成想象力能力。

ABSTRACT

The remarkable recent advances in object-centric generative world models raise a few questions. First, while many of the recent achievements are indispensable for making a general and versatile world model, it is quite unclear how these ingredients can be integrated into a unified framework. Second, despite using generative objectives, abilities for object detection and tracking are mainly investigated, leaving the crucial ability of temporal imagination largely under question. Third, a few key abilities for more faithful temporal imagination such as multimodal uncertainty and situation-awareness are missing. In this paper, we introduce Generative Structured World Models (G-SWM). The G-SWM achieves the versatile world modeling not only by unifying the key properties of previous models in a principled framework but also by achieving two crucial new abilities, multimodal uncertainty and situation-awareness. Our thorough investigation on the temporal generation ability in comparison to the previous models demonstrates that G-SWM achieves the versatility with the best or comparable performance for all experiment settings including a few complex settings that have not been tested before.

研究动机与目标

• 将对象中心世界模型领域中分散的进展——如对象发现、交互建模、遮挡处理与可扩展性——统一到一个原则性框架中。
• 通过超越对象检测与追踪的生成能力，解决先前模型在时间想象方面缺乏真实性的缺陷。
• 引入两项关键缺失能力：用于多样化场景探索的多模态不确定性，以及用于上下文依赖动力学的情境感知行为。
• 在复杂且此前未测试的时间生成任务上评估模型的生成性能，包括多对象交互与结构化环境中的导航。
• 证明 G-SWM 在多样化且具有挑战性的环境中实现了优越或具有竞争力的生成性能，同时保持可解释性与效率。

提出的方法

• G-SWM 采用分层对象动力学模型，通过结构化潜在变量实现随机且多模态的行为生成。
• 其使用一种多功能传播模块，在统一框架中联合建模对象交互、环境约束与遮挡。
• 该模型通过空间注意力机制结合背景上下文模块与前景对象表征，实现可扩展且可解释的世界建模。
• 通过分层变分推理结构实现多模态不确定性，支持多样化未来轨迹采样。
• 通过将对象运动与交互规则基于环境上下文（如迷宫环境中的走廊几何结构）进行条件化，实现情境感知动力学建模。
• 推理过程中，模型基于初始帧进行条件化，并利用学习到的动力学生 prior 生成未来状态，通过学习到的存在变量维持对象存在性。

实验结果

研究问题

• RQ1 一个统一的以对象为中心的世界模型能否在原则性框架中有效整合对象发现、交互建模、遮挡处理与可扩展性等关键能力？
• RQ2 与单一模态随机性相比，多模态不确定性在多大程度上能提升世界模型在时间生成任务中的质量与多样性？
• RQ3 该模型在复杂且此前未测试的时间生成任务（如多对象交互与结构化环境中的导航）上的泛化能力如何？
• RQ4 情境感知动力学的引入是否能增强生成轨迹的真实感与上下文敏感性？
• RQ5 在多样化且具有挑战性的基准测试中，G-SWM 与先前最先进模型相比，在生成性能上表现如何？

主要发现

• 在 Interaction 设置中，G-SWM 在多对象跟踪准确率（MOTA）上达到 0.9979 ± 0.0005 的最高水平，优于 STOVE 与 SCALOR。
• 在 Occlusion 设置中，G-SWM 的 MOTA 为 0.9919 ± 0.0013，显著优于 SCALOR（0.9447 ± 0.0119）与 STOVE（0.9618 ± 0.0023）。
• 在 2 Layer 设置中，G-SWM 的 MOTA 为 0.9967 ± 0.0041，展现出在复杂对象交互任务中的强大性能。
• 在 Maze 环境中，G-SWM 能够成功生成通过走廊的合理代理轨迹，展现出情境感知行为与对空间约束的鲁棒性。
• 在 3D Interactions 数据集上，G-SWM 生成了逼真的碰撞动力学与物体运动，可视化结果证实了对物理交互的准确模拟。
• 消融实验表明，G-SWM 在所有设置中均保持强大性能，包括高复杂度场景如 2 Layer-D 与多对象遮挡，表明其统一设计的鲁棒性。