[论文解读] From Here to There: Video Inbetweening Using Direct 3D Convolutions

Yunpeng Li, Dominik Roblek+1 more|arXiv (Cornell University)|May 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 53被引用 20

一句话总结

本文提出一种完全卷积、端到端的3D卷积网络用于视频补间，无需循环组件即可在两个关键帧之间生成多样化、高质量的中间帧。通过逐步扩展时间分辨率来学习随机潜在视频表示，并利用转置3D卷积进行解码，该模型在基准数据集上实现了最先进性能，优于基于RNN和光流的方法，尤其在长序列和挑战性数据集（如UCF101）上表现更优。

ABSTRACT

We consider the problem of generating plausible and diverse video sequences, when we are only given a start and an end frame. This task is also known as inbetweening, and it belongs to the broader area of stochastic video generation, which is generally approached by means of recurrent neural networks (RNN). In this paper, we propose instead a fully convolutional model to generate video sequences directly in the pixel domain. We first obtain a latent video representation using a stochastic fusion mechanism that learns how to incorporate information from the start and end frames. Our model learns to produce such latent representation by progressively increasing the temporal resolution, and then decode in the spatiotemporal domain using 3D convolutions. The model is trained end-to-end by minimizing an adversarial loss. Experiments on several widely-used benchmark datasets show that it is able to generate meaningful and diverse in-between video sequences, according to both quantitative and qualitative evaluations.

研究动机与目标

• 为解决视频补间问题——在两个关键帧之间生成合理中间帧——而不依赖循环神经网络。
• 探究仅使用直接3D卷积的完全卷积架构是否能有效建模视频生成中的长程时间依赖性。
• 通过将潜在表示学习与视频解码解耦，提升样本多样性与视频质量。
• 证明无状态、端到端可训练的模型可在长时长补间任务中超越现有的基于RNN和光流的方法。

提出的方法

• 模型使用2D卷积编码器将输入的起始和结束关键帧映射到共享潜在空间。
• 3D卷积潜在表示生成器通过逐步提升时间分辨率，利用门控机制对编码关键帧的信息进行随机融合。
• 通过转置3D卷积将潜在表示解码为视频帧，生成最终视频序列。
• 模型使用对抗性损失进行端到端训练，以增强真实感与时间一致性。
• 在生成过程中注入随机噪声向量，使相同输入关键帧可生成多样化视频序列。
• 该架构完全避免循环结构，支持更深网络，并实现更稳定、可并行化的训练。

实验结果

研究问题

• RQ1 无循环的完全卷积模型能否有效生成多样化且逼真的视频补间序列？
• RQ2 将潜在表示学习与视频解码解耦是否能提升视频补间任务的性能？
• RQ3 直接3D卷积能否在生成长时长中间序列方面超越基于RNN的模型？
• RQ4 随机融合机制如何影响视频补间中的样本多样性与视频质量？
• RQ5 所提方法在具有不同复杂度与时间跨度的多样化数据集上是否具备鲁棒性？

主要发现

• 在BAIR数据集上，该模型的FVD达到346.1，优于先前方法在长序列补间任务中的表现。
• 在UCF101数据集上，该模型在14帧生成的中间帧中SSIM达到0.686 [0.680, 0.693]，尽管时间基底更长，仍优于基于RNN和光流的方法。
• 样本多样性通过FVD嵌入空间中的平均成对余弦距离衡量，显著提升：在BAIR上从0.051增至0.071，在KTH上从0.006增至0.013，在UCF101上从0.121增至0.131。
• 消融实验表明，直接从编码关键帧生成性能较差，验证了专用潜在表示生成器的必要性。
• 定性结果表明，对100个随机样本取平均后，运动轨迹（如机械臂）出现明显扩散，证实了高多样性。
• 即使关键帧间隔超过半秒，该模型仍能成功生成有意义且多样的视频序列，表明对长时间间隔具有强鲁棒性。