[论文解读] Animating Landscape: Self-Supervised Learning of Decoupled Motion and Appearance for Single-Image Video Synthesis

Yuki Endo, Yoshihiro Kanamori+1 more|arXiv (Cornell University)|Oct 16, 2019

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出了一种自监督的、解耦的深度学习方法，通过分别预测运动（通过反向光流场）和外观（通过颜色迁移函数），从单张景观图像生成高分辨率、长时间的动画。通过在每帧中仅对原始输入图像应用这些中间表示，该方法避免了误差累积，并实现了可控的、循环的视频生成，在时间一致性和分辨率方面优于先前的方法。

ABSTRACT

Automatic generation of a high-quality video from a single image remains a challenging task despite the recent advances in deep generative models. This paper proposes a method that can create a high-resolution, long-term animation using convolutional neural networks (CNNs) from a single landscape image where we mainly focus on skies and waters. Our key observation is that the motion (e.g., moving clouds) and appearance (e.g., time-varying colors in the sky) in natural scenes have different time scales. We thus learn them separately and predict them with decoupled control while handling future uncertainty in both predictions by introducing latent codes. Unlike previous methods that infer output frames directly, our CNNs predict spatially-smooth intermediate data, i.e., for motion, flow fields for warping, and for appearance, color transfer maps, via self-supervised learning, i.e., without explicitly-provided ground truth. These intermediate data are applied not to each previous output frame, but to the input image only once for each output frame. This design is crucial to alleviate error accumulation in long-term predictions, which is the essential problem in previous recurrent approaches. The output frames can be looped like cinemagraph, and also be controlled directly by specifying latent codes or indirectly via visual annotations. We demonstrate the effectiveness of our method through comparisons with the state-of-the-arts on video prediction as well as appearance manipulation.

研究动机与目标

• 为解决从单张静态景观图像生成高质量、长时间视频的挑战，其中运动和外观在不同时间尺度上变化。
• 通过解耦运动和外观预测，并直接将它们应用于输入图像而非递归应用于生成的帧，减少长时间视频预测中的误差累积。
• 通过潜在码和视觉注释实现可控的视频生成，提供对运动和外观的直接与间接控制。
• 通过在时间 lapse 视频数据集上进行自监督学习，无需真实标签监督，提升视频质量与分辨率，超越当前最先进方法。

提出的方法

• 该方法使用两个独立的卷积神经网络：一个用于预测反向光流场以建模运动，另一个用于预测空间平滑的颜色迁移函数以建模外观变化。
• 运动通过反向光流场建模为帧间差异，这些光流场被用于将输入图像扭曲，生成受运动影响的中间帧。
• 外观变化通过输入帧与时间 lapse 视频中任意帧之间的颜色迁移函数进行建模，随后对时间进行插值以实现平滑的颜色过渡。
• 使用潜在码来建模未来预测中的不确定性，并通过正则化确保推理时生成结果的合理性和多样性。
• 最终的视频帧通过仅对每帧输出的原始输入图像一次应用预测的光流场和颜色迁移函数来合成，避免了递归误差传播。
• 通过从学习到的码书采样潜在码或使用视觉注释实现控制，支持对运动和外观的直接或间接操纵。

实验结果

研究问题

• RQ1 自然景观中的运动和外观能否通过不同时间尺度有效解耦并建模，以提升视频合成质量？
• RQ2 在时间 lapse 视频上进行自监督学习能否实现无需真实标签监督的高分辨率、长时间视频生成？
• RQ3 与递归生成相比，将中间表示（光流场和颜色迁移函数）直接应用于输入图像是否能减少误差累积？
• RQ4 潜在码能否实现从单张图像生成可控、多样化且合理的视频？
• RQ5 与端到端帧预测方法相比，该解耦的中间表示方法在分辨率、一致性与时间稳定性方面表现如何？

主要发现

• 该方法生成分辨率为 1024×576 的高分辨率视频，显著超过先前单图像视频合成方法的分辨率。
• 该方法实现了更长的视频序列，且误差累积减少，即使在 500 帧时仍保持稳定的视觉质量，尽管极长序列中出现轻微失真。
• 通过潜在码或视觉注释可独立控制运动和外观，实现在同一输入图像下生成多样化且合理的动画。
• 仅将中间表示（光流场和颜色迁移函数）应用于输入图像，避免了递归生成中常见的误差累积，提升了长期时间一致性。
• 定量与定性比较表明，在视觉质量与时间一致性方面，该方法优于当前最先进的视频预测与外观操控模型。
• 该方法成功生成自然循环的动画，证明其能够建模真实、随时间变化的场景动态。