[论文解读] Consistent Generative Query Networks

Ananya Kumar, S. M. Ali Eslami+5 more|arXiv (Cornell University)|Jul 5, 2018

Graph Theory and Algorithms参考文献 26被引用 22

一句话总结

本文提出了 JUMP（一致生成查询网络），一种非自回归模型，通过采样共享的随机潜在代码，从任意输入帧生成时间上和空间上一致的视频帧或3D场景视图。该方法实现了快速、跳跃式的推理——直接预测遥远的未来或过去帧，而无需中间步骤——同时在合成视频和3D场景数据集上，相较于自回归模型和因子化模型（如GQN），在速度和重建质量方面均表现出色。

ABSTRACT

Stochastic video prediction models take in a sequence of image frames, and generate a sequence of consecutive future image frames. These models typically generate future frames in an autoregressive fashion, which is slow and requires the input and output frames to be consecutive. We introduce a model that overcomes these drawbacks by generating a latent representation from an arbitrary set of frames that can then be used to simultaneously and efficiently sample temporally consistent frames at arbitrary time-points. For example, our model can "jump" and directly sample frames at the end of the video, without sampling intermediate frames. Synthetic video evaluations confirm substantial gains in speed and functionality without loss in fidelity. We also apply our framework to a 3D scene reconstruction dataset. Here, our model is conditioned on camera location and can sample consistent sets of images for what an occluded region of a 3D scene might look like, even if there are multiple possibilities for what that region might contain. Reconstructions and videos are available at https://bit.ly/2O4Pc4R.

研究动机与目标

• 为了解决自回归视频预测的低效问题，即即使仅需远距离帧，也必须顺序生成所有中间帧。
• 实现灵活的视频生成，能够向前或向后外推时间，或在任意时间点之间插值，而无需连续的输入帧。
• 在多个输出帧中一致地建模视频动态的随机性，确保样本集中所有帧对应于单一连贯的情景（例如，汽车向左或向右转弯），即使存在多种可能的结果。
• 将该框架扩展至3D场景重建，使模型能够从任意相机视角生成一致的图像集，即使在遮挡区域内容不确定时亦可实现。
• 改进现有生成模型（如GQN），后者对帧间预测进行因子化处理，无法在相同遮挡区域的多个视图间保持一致性。

提出的方法

• 该模型使用随机潜在变量来编码视频或场景动态中的不确定性，从而实现在多个帧之间的一致采样。
• 给定一组在任意时间点（或相机位置）的输入帧，模型推断潜在代码的后验分布，随后利用该分布生成任意查询时间点或视角下的帧。
• 该架构在输入和输出上均为非自回归：所有输入帧并行处理，所有输出帧同时使用共享潜在代码生成。
• 该方法基于德·菲内蒂定理，该定理支持将可交换序列建模为给定潜在变量的条件独立同分布，从而实现多个帧之间的一致采样。
• 模型采用变分推断进行训练，使用负ELBO目标函数，同时优化重建质量与后验一致性。
• 在3D场景重建中，模型以相机位置为条件，即使存在多种合理的内容，也能为遮挡区域生成一致的图像集。

实验结果

研究问题

• RQ1 生成模型能否在不生成中间帧的情况下，直接从任意未来或过去时间点生成时间上一致的视频帧？
• RQ2 如何建模视频动态中的随机性，使得能够捕捉多种可能的未来情景，同时确保每个样本集内部保持连贯性（例如，所有帧对应同一动作结果）？
• RQ3 该框架能否扩展至3D场景重建，实现从任意相机视角生成一致的图像，即使在遮挡区域也成立？
• RQ4 与因子化模型（如GQN）相比，一致的非自回归模型在遮挡区域的重建质量与一致性方面是否表现更优？
• RQ5 潜在代码在多帧输出之间捕捉相关性的程度如何？这种相关性在定量上如何验证？

主要发现

• JUMP的推理速度显著快于自回归模型：与SV2P相比，它在不生成中间帧的前提下，将40帧视频的最终帧采样速度提升了12倍。
• 在包含五个运动形状的合成视频数据集上，JUMP的图像质量与最先进的自回归模型（如SV2P）相当，且收敛更稳定。
• 在3D场景重建中，JUMP在测试集负ELBO上优于GQN，表明其对数似然性能更优，且在相同遮挡立方体面的三个视角中，正确捕捉真实数字的概率高出100倍。
• 一致性分析显示，无论仅以一个还是三个目标帧作为条件，对同一未见立方体面，后验分布与先验分布之间的KL散度几乎相同（均值KL₃ = 4.25，均值KL₁ = 4.19），证实了模型维持了稳定的表征。
• 该模型成功生成了遮挡3D场景的一致图像集，例如在未见立方体面的多个视角中采样到相同的数字（如2或9），而GQN则独立采样出不同的数字。
• 该框架支持灵活的跳跃式推理：可在一次前向传播中直接预测远距离未来或过去帧，或在非连续帧之间进行插值。