[论文解读] Learning to Forecast and Refine Residual Motion for Image-to-Video Generation

L. Zhao, Xi Peng+3 more|arXiv (Cornell University)|Jul 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 8

一句话总结

该论文提出了一种两阶段图像到视频生成框架，首先从结构化条件中预测残差运动，然后利用时空信号对运动进行精细化处理。通过学习运动残差并采用密集解码器连接，该方法在面部表情迁移和人体姿态预测任务中实现了最先进性能，在Penn Action数据集上的MSE相比之前的工作提升了23%。

ABSTRACT

We consider the problem of image-to-video translation, where an input image is translated into an output video containing motions of a single object. Recent methods for such problems typically train transformation networks to generate future frames conditioned on the structure sequence. Parallel work has shown that short high-quality motions can be generated by spatiotemporal generative networks that leverage temporal knowledge from the training data. We combine the benefits of both approaches and propose a two-stage generation framework where videos are generated from structures and then refined by temporal signals. To model motions more efficiently, we train networks to learn residual motion between the current and future frames, which avoids learning motion-irrelevant details. We conduct extensive experiments on two image-to-video translation tasks: facial expression retargeting and human pose forecasting. Superior results over the state-of-the-art methods on both tasks demonstrate the effectiveness of our approach.

研究动机与目标

• 为解决从单张图像输入生成时序一致、高质量视频的挑战。
• 通过结合高层结构化条件与时空建模，提升长期视频生成性能。
• 通过聚焦帧间残差运动，减少对与运动无关细节的学习。
• 通过解码器架构中的密集连接，增强特征复用与真实感。

提出的方法

• 该框架采用两阶段流程：首先基于预测的结构序列生成粗略视频，然后利用时序信号对视频进行精细化处理。
• 运动预测网络学习当前帧与未来帧之间的残差运动，避免对静态或无关内容的冗余学习。
• 条件生成器用于预测结构序列（如姿态关键点或面部关键点），以指导生成阶段。
• 精细化阶段采用时空生成网络，以增强时序一致性和视觉质量。
• 在解码器中引入密集连接，以促进空间特征复用并提升真实感。
• 损失函数包括对抗性损失、感知特征损失（使用VGG16与Hourglass特征）以及用于保证运动一致性的重建损失。

实验结果

研究问题

• RQ1 聚焦于仅与运动相关的改变，残差运动学习是否能提升视频生成质量？
• RQ2 结合结构化条件引导与时空精细化处理，如何增强长期视频生成性能？
• RQ3 解码器中的密集连接在多大程度上提升了视觉质量与特征复用？
• RQ4 两阶段生成-精细化流程是否在视频质量与一致性方面优于端到端方法？

主要发现

• 在Penn Action数据集上，当使用真实运动图时，所提方法的均方误差（MSE）达到0.011，优于之前最先进方法（Villegas等）的MSE 0.025。
• 在MUG数据库上，该方法的ACD-I得分为0.459，ACD-C得分为0.155，表明在面部表情迁移任务中表现优异。
• 视觉对比显示，与[39]相比，生成的视频在时序一致性与视觉真实感方面更优，且对人物外观与运动结构的保持更佳。
• 消融实验确认，每个组件——残差学习、密集连接与两阶段架构——均对性能有贡献，完整模型在性能上优于缺少任一组件的变体。