[论文解读] Dual Motion GAN for Future-Flow Embedded Video Prediction

Xiaodan Liang, Lisa Lee+2 more|arXiv (Cornell University)|Aug 1, 2017

Advanced Vision and Imaging参考文献 27被引用 15

一句话总结

本文提出了一种双运动生成对抗网络（Dual Motion GAN），通过共享的随机运动编码器和双对抗训练，联合预测未来的视频帧与光流。通过在预测帧与光流之间施加相互反馈的一致性约束，该模型生成了更清晰、更逼真的预测结果，在视频预测和无监督表征学习任务中达到了最先进性能。

ABSTRACT

Future frame prediction in videos is a promising avenue for unsupervised video representation learning. Video frames are naturally generated by the inherent pixel flows from preceding frames based on the appearance and motion dynamics in the video. However, existing methods focus on directly hallucinating pixel values, resulting in blurry predictions. In this paper, we develop a dual motion Generative Adversarial Net (GAN) architecture, which learns to explicitly enforce future-frame predictions to be consistent with the pixel-wise flows in the video through a dual-learning mechanism. The primal future-frame prediction and dual future-flow prediction form a closed loop, generating informative feedback signals to each other for better video prediction. To make both synthesized future frames and flows indistinguishable from reality, a dual adversarial training method is proposed to ensure that the future-flow prediction is able to help infer realistic future-frames, while the future-frame prediction in turn leads to realistic optical flows. Our dual motion GAN also handles natural motion uncertainty in different pixel locations with a new probabilistic motion encoder, which is based on variational autoencoders. Extensive experiments demonstrate that the proposed dual motion GAN significantly outperforms state-of-the-art approaches on synthesizing new video frames and predicting future flows. Our model generalizes well across diverse visual scenes and shows superiority in unsupervised video representation learning.

研究动机与目标

• 解决现有无监督视频生成方法中未来帧预测模糊的局限性。
• 通过显式建模像素级运动动态，提升未来帧预测的逼真度与连贯性。
• 通过双对抗机制实现未来帧与未来光流预测的联合学习。
• 利用基于变分推理的随机运动编码器捕捉自然场景中的空间运动不确定性。
• 在下游动作识别等任务中，验证模型在无监督视频表征学习中的有效性。

提出的方法

• 采用基于变分自编码器的随机运动编码器，对空间位置上的运动不确定性进行建模。
• 使用包含两个生成器的双对抗训练框架：一个用于未来帧预测，另一个用于未来光流预测。
• 训练两个判别器——一个用于判断帧的真实性，另一个用于判断光流的真实性——通过真实数据与生成数据的对比，以增强生成结果的保真度。
• 实现反馈回路：将预测的光流用于对输入帧进行特征图变形，生成变形帧，并由帧判别器进行评估。
• 利用预测帧与真实帧估计光流，再由光流判别器评估，从而完成双闭环反馈。
• 通过集成光流变形层与来自运动编码器的共享潜在表征，确保端到端可微分性。

实验结果

研究问题

• RQ1 与仅预测帧的基线方法相比，联合预测未来帧与光流是否能提升视频生成的逼真度与清晰度？
• RQ2 帧生成器与光流生成器之间的双对抗训练如何通过相互反馈机制提升两者预测质量？
• RQ3 基于变分推理的随机运动编码器在复杂视频场景中，对空间变化的运动不确定性捕捉能力如何？
• RQ4 该双运动生成对抗网络架构是否能在包括真实行车记录仪视频在内的多样化视频领域中实现良好泛化？
• RQ5 模型学习到的表征是否能有效迁移至无监督视频表征学习任务（如动作分类）？

主要发现

• 该双运动生成对抗网络在未来帧预测任务中达到最先进性能，在KITTI与UCF-101数据集上显著优于先前方法。
• 在UCF-101数据集上，模型在基于未来预测进行预训练后，动作识别准确率达到55.1%，超越了先前的无监督方法。
• 在KITTI flow 2012数据集上，该模型将平均端点误差（EPE）降低至7.6，优于无监督基线方法如DVF与Ours (flow GAN)。
• 消融实验表明，双对抗机制与共享的随机运动编码器对性能至关重要，移除任一模块均导致准确率显著下降。
• 该模型在未经处理的YouTube行车记录仪视频上也表现出良好泛化能力，即使在多变且复杂的运动模式下仍保持强劲性能。
• 融合帧生成器与光流生成器的预测结果可获得最佳效果，证明双学习机制具有互补优势。