[论文解读] Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks

Wei Xiong, Wenhan Luo+3 more|arXiv (Cornell University)|Sep 22, 2017

Advanced Image Processing Techniques参考文献 35被引用 13

一句话总结

本文提出了一种两阶段多阶段动态生成对抗网络（MD-GAN），用于从单张输入图像生成最高达128×128分辨率的延时视频。第一阶段使用基于3D U-Net的生成器（Base-Net）生成内容丰富的帧，第二阶段（Refine-Net）通过基于格拉姆矩阵建模的对抗性排序损失提升运动动态，显著提高了与最先进模型相比的逼真度。

ABSTRACT

Taking a photo outside, can we predict the immediate future, e.g., how would the cloud move in the sky? We address this problem by presenting a generative adversarial network (GAN) based two-stage approach to generating realistic time-lapse videos of high resolution. Given the first frame, our model learns to generate long-term future frames. The first stage generates videos of realistic contents for each frame. The second stage refines the generated video from the first stage by enforcing it to be closer to real videos with regard to motion dynamics. To further encourage vivid motion in the final generated video, Gram matrix is employed to model the motion more precisely. We build a large scale time-lapse dataset, and test our approach on this new dataset. Using our model, we are able to generate realistic videos of up to $128 imes 128$ resolution for 32 frames. Quantitative and qualitative experiment results have demonstrated the superiority of our model over the state-of-the-art models.

研究动机与目标

• 为解决从单张静态图像生成长期未来视频帧的挑战。
• 克服先前模型因误差累积和细节保留不足而导致内容模糊或运动不真实的问题。
• 通过两阶段方法解耦内容建模与运动建模，以提升性能。
• 构建大规模延时视频数据集（Sky Scene），用于未来视频预测模型的训练与评估。
• 通过结合3D U-Net与运动感知对抗训练，实现高分辨率、时间一致且视觉逼真的视频生成。

提出的方法

• 第一阶段采用Base-Net，一种具有跳跃连接的3D U-Net类生成器，以保留空间与时间特征，减少信息丢失并增强生成帧的内容细节。
• Base-Net在生成器与判别器中均使用3D卷积与转置卷积层，以建模时空模式并强制实现对抗性训练，使生成视频分布更逼真。
• 第二阶段引入Refine-Net，将Base-Net的输出作为输入，并应用对抗性排序损失，使生成视频比输入更逼真，同时在运动动态上与输入的相似度更低。
• 对抗性排序损失利用连续帧特征图的格拉姆矩阵来精确建模运动动态，鼓励生成更真实的时序变换。
• 该模型在新构建的大规模延时视频数据集（Sky Scene）上进行训练，该数据集包含白天、黄昏、星空与极光等多种场景。
• 该框架在延时与非延时数据集（Beach与Golf）上均进行了评估，证明了其在不同视频场景下的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 两阶段生成对抗网络架构能否有效解耦内容生成与运动优化，从而提升长期视频预测的逼真度？
• RQ2 与普通编码器-解码器结构相比，将3D U-Net与跳跃连接结合在视频生成中能否更有效地提升内容细节保留？
• RQ3 基于格拉姆矩阵的运动建模在多大程度上能增强生成视频中运动动态的生动性与真实感？
• RQ4 所提出的MD-GAN模型在多样化的视频场景中，是否在定量指标与定性感知上均优于最先进模型？
• RQ5 该模型能否泛化至非延时视频预测任务，如Beach与Golf数据集中的任务？

主要发现

• Refine-Net阶段显著提升了生成视频的感知质量，在成对比较中，70%的人工评估者更偏好其输出而非Base-Net的输出。
• 在Beach数据集上，MD-GAN实现了MSE为0.0422、PSNR为16.1951、SSIM为0.8019的性能，显著优于VGAN与RNN-GAN。
• 在Golf数据集上，MD-GAN实现了MSE为0.0681、PSNR为13.7870、SSIM为0.7085的性能，展现出在多样化视频类型中的强大表现。
• 定性结果表明，Refine-Net生成的运动动态更生动，相邻帧间差异更明显，同时保持了高保真度的内容细节。
• 该模型可生成分辨率为128×128、共32帧的逼真视频，在许多情况下其视觉质量几乎与真实延时视频无法区分。
• 人工评估显示，16%的评估者更偏好Refine-Net输出而非真实视频，表明其具有极高的感知真实感；而仅有8%的评估者更偏好Base-Net输出而非真实视频。