[论文解读] Decomposing Motion and Content for Natural Video Sequence Prediction

Ruben Villegas, Shuicheng Yan+3 more|arXiv (Cornell University)|Jun 25, 2017

Video Analysis and Summarization参考文献 10被引用 416

一句话总结

MCnet 将视频预测分解为单独的运动和内容编码器，使端到端训练用于像素级未来帧预测，在多个动作视频数据集上实现最先进的结果。

ABSTRACT

We propose a deep neural network for the prediction of future frames in natural video sequences. To effectively handle complex evolution of pixels in videos, we propose to decompose the motion and content, two key components generating dynamics in videos. Our model is built upon the Encoder-Decoder Convolutional Neural Network and Convolutional LSTM for pixel-level prediction, which independently capture the spatial layout of an image and the corresponding temporal dynamics. By independently modeling motion and content, predicting the next frame reduces to converting the extracted content features into the next frame content by the identified motion features, which simplifies the task of prediction. Our model is end-to-end trainable over multiple time steps, and naturally learns to decompose motion and content without separate training. We evaluate the proposed network architecture on human activity videos using KTH, Weizmann action, and UCF-101 datasets. We show state-of-the-art performance in comparison to recent approaches. To the best of our knowledge, this is the first end-to-end trainable network architecture with motion and content separation to model the spatiotemporal dynamics for pixel-level future prediction in natural videos.

研究动机与目标

• 在自然视频中推动并解决像素级未来帧预测的问题。
• 提出一个两流架构，分别对运动和内容进行编码。
• 展示端到端训练可以在无需监督的情况下学习运动-内容分解。

提出的方法

• 两 encoder 路径：一个运动编码器处理帧差异并使用 ConvLSTM 捕捉动态特征，另一个内容编码器处理最后一个观测帧以捕捉空间布局。
• 多尺度运动-内容残差以缓解池化带来的信息丢失，并输入解码器。
• 将运动和内容融合成统一表示后再进行解码的组合层。
• 基于反卷积的解码器在残差连接的帮助下重建下一帧。
• 通过迭代上述步骤实现多帧预测，使用前一预测作为后续步骤的输入。
• 损失由图像空间损失和对抗损失组成，以产生更清晰、更真实的帧。

实验结果

研究问题

• RQ1 在自然视频中，将运动和内容分离到单独的编码器路径是否可以提高像素级未来帧预测的准确性？
• RQ2 端到端训练是否会在没有监督的情况下自然地实现运动和内容的分解？
• RQ3 在标准视频数据集（KTH、Weizmann、UCF-101）上，MCnet 相对于 ConvLSTM 基线和最先进的帧预测方法的表现如何？
• RQ4 多尺度残余是否改善跨时间的信息保留和预测质量？

主要发现

• MCnet 在长期预测上优于 ConvLSTM 基线，并且对未见内容具有更好的泛化能力（KTH 和 Weizmann 数据集）。
• 非对称的运动-内容架构实现了动态与布局的自然分解，而无需显式监督。
• 在 UCF-101 上，MCnet（单步）相对于基线有明显改进，并且与最先进方法相比结果具有竞争力，残差变体提高了泛化能力。
• 多尺度残余有助于在池化过程中保留信息，并提升帧的清晰度和真实感。
• 预测在较长时间跨度内仍保持相对清晰，捕捉周期性运动模式。
• 定性结果显示 MCnet 比基线更忠实地保留人形和运动线索。