[论文解读] Mocycle-GAN: Unpaired Video-to-Video Translation

Chen Yang, Yingwei Pan+3 more|arXiv (Cornell University)|Aug 26, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 8

一句话总结

Mocycle-GAN 提出了一种新颖的无配对视频到视频转换框架，通过将运动估计整合到 Cycle-GAN 架构中，以同时保证外观一致性与时间连贯性。通过引入对抗性损失、帧级与运动级循环一致性，以及运动转换约束，该方法在无配对视频转换任务中取得了最先进性能，包括在环境条件迁移和花朵到花朵转换等任务中生成逼真且无闪烁的视频。

ABSTRACT

Unsupervised image-to-image translation is the task of translating an image from one domain to another in the absence of any paired training examples and tends to be more applicable to practical applications. Nevertheless, the extension of such synthesis from image-to-image to video-to-video is not trivial especially when capturing spatio-temporal structures in videos. The difficulty originates from the aspect that not only the visual appearance in each frame but also motion between consecutive frames should be realistic and consistent across transformation. This motivates us to explore both appearance structure and temporal continuity in video synthesis. In this paper, we present a new Motion-guided Cycle GAN, dubbed as Mocycle-GAN, that novelly integrates motion estimation into unpaired video translator. Technically, Mocycle-GAN capitalizes on three types of constrains: adversarial constraint discriminating between synthetic and real frame, cycle consistency encouraging an inverse translation on both frame and motion, and motion translation validating the transfer of motion between consecutive frames. Extensive experiments are conducted on video-to-labels and labels-to-video translation, and superior results are reported when comparing to state-of-the-art methods. More remarkably, we qualitatively demonstrate our Mocycle-GAN for both flower-to-flower and ambient condition transfer.

研究动机与目标

• 解决缺乏配对训练数据的无配对视频到视频转换挑战。
• 克服将逐帧图像转换方法应用于视频时常见的时间不连续性和闪烁伪影。
• 通过联合建模域间外观结构与运动动态，提升视频生成质量。
• 引入基于运动的约束，以增强生成视频的时间连贯性与真实感。
• 实现多样化的视频转换任务，如环境条件迁移和跨花朵转换，且无需配对样本。

提出的方法

• 通过光流估计整合运动建模，以捕捉连续帧之间的时间动态。
• 应用对抗性损失，确保生成帧在源域和目标域中均具有逼真的外观。
• 强制实施帧级与运动级循环一致性：将视频从域 X 转换到 Y 再返回，应能重建原始视频。
• 引入运动转换器网络，将源域的运动模式（光流）迁移至目标域。
• 采用双循环一致性损失，联合约束域间外观与运动的重建。
• 在基于生成对抗网络的对抗性训练中，结合所有约束，使用残差 U-Net 生成器进行端到端训练。

实验结果

研究问题

• RQ1 与逐帧图像转换相比，运动估计是否能提升无配对视频到视频转换中的时间连贯性？
• RQ2 在无配对数据条件下，运动循环一致性在保持运动动态方面有多有效？
• RQ3 在域间显式进行运动转换是否能提升生成视频的真实感与连贯性？
• RQ4 Mocycle-GAN 是否能在多样化的视频转换任务（如环境条件迁移和花朵到花朵转换）中实现良好泛化？
• RQ5 Mocycle-GAN 在定量与定性指标上与 SOTA 基线方法（如 Cycle-GAN 和 Recycle-GAN）相比表现如何？

主要发现

• Mocycle-GAN 在视频到标签及标签到视频转换任务中均表现卓越，定量与定性评估结果均优于现有 SOTA 方法。
• 在人类评估中，Mocycle-GAN 在花朵到花朵转换任务中获得 77.5% 的偏好得分，在环境条件迁移任务中获得 82.5%，显著优于 Cycle-GAN 和 Recycle-GAN。
• 运动转换器成功将光流从源域迁移至目标域，生成的光流与目标视频的真实光流高度吻合。
• 定性结果表明，生成的视频无闪烁且时间连贯，尤其在白天到夜晚转换及花朵绽放序列转换中表现明显。
• 消融实验验证了运动循环一致性和运动转换对高质量视频生成的双重必要性。
• 在 Viper 数据集上，Mocycle-GAN 生成的白天视频更明亮、更自然，而基线方法生成的视频则显得暗淡且不真实。