[论文解读] Dynamics Transfer GAN: Generating Video by Transferring Arbitrary Temporal Dynamics from a Source Video to a Single Target Image

Wissam J. Baddar, Geonmo Gu+2 more|arXiv (Cornell University)|Dec 10, 2017

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 15

一句话总结

Dynamics Transfer GAN 通过将源视频中的任意时间动态转移到单个目标图像上，同时保持目标图像的空间外观，从而生成视频。它使用一种外观抑制的动力学特征来分离源视频中的运动，并采用双判别器以确保空间保真度和时间一致性，从而在不扭曲目标图像身份的前提下实现高质量、长时长的视频生成。

ABSTRACT

In this paper, we propose Dynamics Transfer GAN; a new method for generating video sequences based on generative adversarial learning. The spatial constructs of a generated video sequence are acquired from the target image. The dynamics of the generated video sequence are imported from a source video sequence, with arbitrary motion, and imposed onto the target image. To preserve the spatial construct of the target image, the appearance of the source video sequence is suppressed and only the dynamics are obtained before being imposed onto the target image. That is achieved using the proposed appearance suppressed dynamics feature. Moreover, the spatial and temporal consistencies of the generated video sequence are verified via two discriminator networks. One discriminator validates the fidelity of the generated frames appearance, while the other validates the dynamic consistency of the generated video sequence. Experiments have been conducted to verify the quality of the video sequences generated by the proposed method. The results verified that Dynamics Transfer GAN successfully transferred arbitrary dynamics of the source video sequence onto a target image when generating the output video sequence. The experimental results also showed that Dynamics Transfer GAN maintained the spatial constructs (appearance) of the target image while generating spatially and temporally consistent video sequences.

研究动机与目标

• 通过将源视频中的任意时间动态转移到单个目标图像，生成高质量的视频序列。
• 在视频生成过程中保持目标图像的空间外观和身份特征。
• 实现可变长度的视频生成，且不受序列长度限制。
• 将源视频中的运动动态与空间外观解耦，以实现精确转移。
• 确保生成的视频序列在空间保真度和时间一致性方面均表现良好。

提出的方法

• 该方法使用一个生成器网络，结合目标图像和源视频序列的特征来合成视频帧。
• 引入了一种外观抑制的动力学特征，通过预训练的RNN进行时空编码，在抑制源视频空间外观的同时保留其时间动态。
• 采用两个判别器：空间判别器用于验证帧级真实感和外观保真度，动力学判别器用于评估视频序列中的时间连贯性。
• 生成器通过额外的目标项进行训练，以维持长期的空间和动态一致性。
• 动力学判别器被设计为聚焦于长序列的后半部分，以确保长时间序列中的质量持续稳定。
• 模型通过对抗学习进行训练，结合感知损失和对抗损失，以提升真实感和运动一致性。

实验结果

研究问题

• RQ1 能否在不扭曲目标图像空间外观的前提下，有效将源视频中的任意时间动态转移到目标图像上？
• RQ2 如何从源视频中将运动动态与空间外观分离，以便转移到另一张图像上？
• RQ3 基于GAN的模型能否在无固定长度限制的情况下生成长时、时间一致的视频序列？
• RQ4 与标准的时空特征（如CNN-LSTM）相比，使用外观抑制的动力学特征是否能提升视频质量？
• RQ5 双判别器（空间判别器和动力学判别器）能否有效同时实现帧级真实感和序列级运动一致性？

主要发现

• 所提出的外观抑制动力学特征显著减少了生成帧中的伪影，尤其是在高动态或形变区域。
• 主观偏好实验显示，82.88%的参与者更偏好使用外观抑制动力学特征生成的视频，而非使用CNN-LSTM特征生成的视频。
• 使用零像素目标图像的可视化结果证实，模型仅生成了源视频的动力学特征，证明了对空间外观的有效抑制。
• 该模型在导入源视频中复杂且任意的运动模式的同时，成功保持了目标图像的空间结构。
• 双判别器设置确保了即使在长视频序列中，也能实现高帧级真实感和长期时间一致性。
• 定性结果表明，生成的视频在空间和时间上均保持一致，且对目标图像身份的失真极小。