[论文解读] Improving Video Generation for Multi-functional Applications

Bernhard Kratzwald, Zhiwu Huang+3 more|arXiv (Cornell University)|Nov 30, 2017

Generative Adversarial Networks and Image Synthesis参考文献 57被引用 13

一句话总结

本文提出iVGAN，一种单流视频生成对抗网络（GAN），在不分离前景/背景或动态/静态内容的前提下，利用稳定的Wasserstein GAN框架生成高质量视频。该方法在多个数据集上超越了当前最先进模型，并支持多种功能应用，如视频着色、图像修复和未来预测——这些任务此前在GAN中尚未被探索。

ABSTRACT

In this paper, we aim to improve the state-of-the-art video generative adversarial networks (GANs) with a view towards multi-functional applications. Our improved video GAN model does not separate foreground from background nor dynamic from static patterns, but learns to generate the entire video clip conjointly. Our model can thus be trained to generate - and learn from - a broad set of videos with no restriction. This is achieved by designing a robust one-stream video generation architecture with an extension of the state-of-the-art Wasserstein GAN framework that allows for better convergence. The experimental results show that our improved video GAN model outperforms state-of-theart video generative models on multiple challenging datasets. Furthermore, we demonstrate the superiority of our model by successfully extending it to three challenging problems: video colorization, video inpainting, and future prediction. To the best of our knowledge, this is the first work using GANs to colorize and inpaint video clips.

研究动机与目标

• 开发一种鲁棒且无限制的视频生成框架，无需背景稳定化或前景/背景分离。
• 实现端到端的无监督训练，适用于多样化视频生成任务，且对输入数据无架构限制。
• 将模型扩展至多功能应用，如视频着色、图像修复和未来预测，展示其在生成之外的泛化能力。
• 克服先前双流模型在相机移动或背景变化视频中失效的局限性。

提出的方法

• 设计一种单流视频生成器，联合建模空间与时间依赖性，无需将视频分解为前景/背景或动态/静态成分。
• 采用带梯度惩罚的Wasserstein GAN框架，以稳定训练并提升收敛性，支持深层残差结构。
• 引入辅助编码器和特定应用的损失函数，将基础生成器扩展至多任务应用，如着色、图像修复和未来预测。
• 采用端到端无监督训练方式，结合对抗损失、重建损失和针对每项应用定制的感知损失。
• 使用时间一致性损失，确保重建或生成的帧在时间上保持合理的运动与物体连续性。
• 通过依赖模型对场景动态的自学习理解，将模型应用于未经处理的视频，包括存在相机运动的视频。

实验结果

研究问题

• RQ1 单流视频生成对抗网络架构是否能在不预先假设背景稳定或物体分离的前提下生成高质量视频？
• RQ2 所提出的iVGAN模型是否能在视频着色、图像修复和未来预测等多样化视频生成任务中实现泛化？
• RQ3 在相机移动或背景变化的视频中，该模型表现如何，而此前模型在此类视频中会失效？
• RQ4 该模型在生成或重建的视频片段中，能在多大程度上学习并强制实现时空一致性？

主要发现

• iVGAN在多个具有挑战性的数据集上超越了当前最先进模型，展示了无需背景稳定化的优越视频生成质量。
• 在Amazon MTurk上，iVGAN在盐粒与胡椒噪声图像修复任务中的用户评分达到3.63/4.10，表明其在存在遮挡时仍具有高度真实性。
• 峰值信噪比（PSNR）结果表明，随机框位置的图像修复性能几乎与固定位置相当，表明对输入扰动具有鲁棒性。
• 在视频未来预测任务中，模型即使仅从单帧输入也能生成合理运动，但未来帧因重建引导有限而略显模糊。
• 当物体部分被遮挡时，模型能一致地重建物体，表现出强大的时间连贯性。
• 这是首次将GAN应用于视频着色与图像修复任务，证明了模型学习语义内容并跨任务应用的能力。