[论文解读] Hierarchical Video Generation from Orthogonal Information: Optical Flow and Texture

Katsunori Ohnishi, Shohei Yamamoto+2 more|arXiv (Cornell University)|Nov 27, 2017

Advanced Vision and Imaging被引用 15

一句话总结

本文提出Flow-and-Texture GAN（FTGAN），一种分层生成对抗网络，将视频生成分为两个阶段：首先通过FlowGAN生成光流以建模运动，然后通过TextureGAN在保持时空一致性的同时添加逼真的纹理。与以往基于GAN的视频生成模型相比，该方法在运动合理性方面表现更优，并提升了无监督动作识别性能。

ABSTRACT

Learning to represent and generate videos from unlabeled data is a very challenging problem. To generate realistic videos, it is important not only to ensure that the appearance of each frame is real, but also to ensure the plausibility of a video motion and consistency of a video appearance in the time direction. The process of video generation should be divided according to these intrinsic difficulties. In this study, we focus on the motion and appearance information as two important orthogonal components of a video, and propose Flow-and-Texture-Generative Adversarial Networks (FTGAN) consisting of FlowGAN and TextureGAN. In order to avoid a huge annotation cost, we have to explore a way to learn from unlabeled data. Thus, we employ optical flow as motion information to generate videos. FlowGAN generates optical flow, which contains only the edge and motion of the videos to be begerated. On the other hand, TextureGAN specializes in giving a texture to optical flow generated by FlowGAN. This hierarchical approach brings more realistic videos with plausible motion and appearance consistency. Our experiments show that our model generates more plausible motion videos and also achieves significantly improved performance for unsupervised action classification in comparison to previous GAN works. In addition, because our model generates videos from two independent information, our model can generate new combinations of motion and attribute that are not seen in training data, such as a video in which a person is doing sit-up in a baseball ground.

研究动机与目标

• 解决从无标签数据生成具有合理运动与一致外观的逼真视频的挑战。
• 将视频生成分解为正交的组成部分——运动（光流）与外观（纹理），以简化学习过程并提升生成质量。
• 实现对运动与外观的解耦控制，从而生成训练数据中未见的运动-属性组合。
• 提升下游动作分类任务的无监督视频表征学习性能。

提出的方法

• FlowGAN从随机噪声生成光流，专注于运动边缘与时间连续性，不包含纹理信息。
• TextureGAN以生成的光流为输入，通过添加纹理来合成逼真的RGB视频，同时保持前景与场景的一致性。
• 分层流水线确保先保证运动真实性，再进行外观优化，从而降低联合生成视频的复杂度。
• FlowGAN与TextureGAN均采用3D卷积神经网络，并通过判别器分别专注于运动与外观的对抗训练。
• 通过提取每个判别器最后一层的特征，并使用线性SVM进行组合，实现无监督动作分类。
• 使用Brox算法估计光流，实现完全无监督训练，无需人工标注。

实验结果

研究问题

• RQ1 将视频生成分解为运动（光流）与外观（纹理）两部分，是否能提升生成视频的真实感与合理性？
• RQ2 从正交信息（光流与纹理）分层生成，是否能比联合生成更有效地提升无监督视频表征学习？
• RQ3 该模型能否生成训练数据中未出现的运动与外观的新组合？
• RQ4 在运动质量与动作识别准确率方面，FTGAN相较于以往基于GAN的视频生成方法表现如何？

主要发现

• FTGAN在人类评估的50段视频（共8000次判断）中，生成的视频运动合理性显著优于基线GAN模型（如VGAN）。
• 在UCF101数据集上，FTGAN实现了最先进的无监督动作分类准确率，优于VGAN与TGAN，较最佳先前基于GAN的方法提升5.5%。
• 融合FlowGAN与TextureGAN判别器的特征表现更优，表明两个网络分别学习了互补的视频特征——运动与外观。
• 在更复杂的Penn Action数据集上，FTGAN优于VGAN，表明解耦方法在运动复杂度增加时更具优势。
• 该模型成功生成了新颖的运动-属性组合，例如一个人在棒球场上做仰卧起坐，证明了对运动与外观的解耦控制能力。
• 尽管在更简单的SURREAL数据集上TextureGAN略逊于VGAN，但在Penn Action数据集上显著优于VGAN，凸显了解耦在复杂运动场景中的优势。