[论文解读] SlotFormer: Unsupervised Visual Dynamics Simulation with Object-Centric Models

Ziyi Wu, Nikita Dvornik+3 more|arXiv (Cornell University)|Oct 12, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

SlotFormer 提出了一种基于 Transformer 的自回归模型，通过在以物体为中心的表征上操作，从视频中学习无监督的视觉动态。该方法在长时程视频预测任务中达到最先进性能，并在无需额外监督的情况下，提升了视觉问答（VQA）和目标条件规划等下游任务的性能。

ABSTRACT

Understanding dynamics from visual observations is a challenging problem that requires disentangling individual objects from the scene and learning their interactions. While recent object-centric models can successfully decompose a scene into objects, modeling their dynamics effectively still remains a challenge. We address this problem by introducing SlotFormer -- a Transformer-based autoregressive model operating on learned object-centric representations. Given a video clip, our approach reasons over object features to model spatio-temporal relationships and predicts accurate future object states. In this paper, we successfully apply SlotFormer to perform video prediction on datasets with complex object interactions. Moreover, the unsupervised SlotFormer's dynamics model can be used to improve the performance on supervised downstream tasks, such as Visual Question Answering (VQA), and goal-conditioned planning. Compared to past works on dynamics modeling, our method achieves significantly better long-term synthesis of object dynamics, while retaining high quality visual generation. Besides, SlotFormer enables VQA models to reason about the future without object-level labels, even outperforming counterparts that use ground-truth annotations. Finally, we show its ability to serve as a world model for model-based planning, which is competitive with methods designed specifically for such tasks.

研究动机与目标

• 开发一种统一的无监督视觉动态模拟方法，以捕捉视频中物体之间的长期时空交互。
• 通过利用解耦个体物体及其运动的物体中心表征，提升视频预测性能。
• 将无监督动态知识迁移至下游监督任务，如视觉问答（VQA）和目标条件规划。
• 即使在烧入帧中物体出现或消失，也能实现对物体动态的准确模拟，确保对遮挡和重新出现的鲁棒性。
• 证明单一统一的动力学模型在生成和推理任务中均优于专用模型。

提出的方法

• SlotFormer 使用预训练的物体中心模型（如 SAVi）从视频帧中提取物体中心特征，将每个物体视为可学习的槽。
• 它使用基于 Transformer 的自回归解码器，通过跨多个时间步关注过去的物体槽来预测未来的物体特征。
• 该模型以输入帧序列作为条件，能够捕捉时空关系，并保持物体属性和运动的一致性。
• 注意力机制使模型即使在物体被遮挡时，也能通过关注相关时间步和物体来推理物体间的相互作用，如碰撞。
• 动力学模型通过在未来帧上的重建损失进行端到端无监督训练，无需物体级别的标注。
• 在下游任务中，向预测的物体特征添加特定任务的读出头以执行 VQA 或规划，无需在标签上进行额外微调。

实验结果

研究问题

• RQ1 基于物体中心表征的 Transformer 模型是否能在无监督视频预测中实现最先进性能，尤其是在长时程预测中？
• RQ2 从视频预测中获得的无监督动态知识在多大程度上能提升下游监督任务（如 VQA 和目标条件规划）的性能？
• RQ3 该模型在未见物体交互和动态事件（如碰撞或物体重新出现）上的泛化能力如何？
• RQ4 当物体在烧入阶段被遮挡或仅在后续帧中出现时，模型能否保持准确的动力学模拟？
• RQ5 通过自注意力机制联合建模时空关系，是否能比先前方法更真实、更一致地预测物体运动？

主要发现

• SlotFormer 在两个视频预测基准（OBJ3D 和 CLEVRER）上达到最先进性能，尤其在长时程生成中，对象感知指标显著提升。
• 在 CLEVRER 数据集上，SlotFormer 的 Fréchet 视频距离（FVD）为 11.2，优于先前方法，在视频质量和对象层面一致性方面表现更优。
• 在作为 VQA 的世界模型使用时，SlotFormer 在 CLEVR-VQA 数据集上的准确率相比无动态知识的模型提升了 6.8%，且无需物体级别标注。
• 在目标条件规划任务中，SlotFormer 使智能体在 Physion 等环境中能有效规划，其成功率与专门训练的规划模型相当。
• 消融实验表明，使用最多 15 帧烧入时间（T=15）可提升 Physion 上的性能，且在 VQA 准确率上，滚动长度 K=10 时达到最优增益。
• 模型成功推断出在烧入帧中进入场景的新物体的动态，如在 CLEVRER 上所示，即使初始不可见，也能准确预测其运动。