[論文レビュー] Hierarchical Video Generation from Orthogonal Information: Optical Flow and Texture

Katsunori Ohnishi, Shohei Yamamoto+2 more|arXiv (Cornell University)|Nov 27, 2017

Advanced Vision and Imaging被引用数 15

ひとこと要約

本稿では、Flow-and-Texture GAN (FTGAN) を提案する。FTGAN は、動画生成を2段階に分離する階層型生成対抗ネットワークであり、まず FlowGAN を用いて動きをモデル化する光流を生成し、その後 TextureGAN を用いて空間的・時間的整合性を保ちながら現実的なテクスチャを追加する。この手法は、従来の GAN を用いた動画生成モデルと比較して、より現実的で整合性のある動きを実現し、教師なし行動認識性能も向上させた。

ABSTRACT

Learning to represent and generate videos from unlabeled data is a very challenging problem. To generate realistic videos, it is important not only to ensure that the appearance of each frame is real, but also to ensure the plausibility of a video motion and consistency of a video appearance in the time direction. The process of video generation should be divided according to these intrinsic difficulties. In this study, we focus on the motion and appearance information as two important orthogonal components of a video, and propose Flow-and-Texture-Generative Adversarial Networks (FTGAN) consisting of FlowGAN and TextureGAN. In order to avoid a huge annotation cost, we have to explore a way to learn from unlabeled data. Thus, we employ optical flow as motion information to generate videos. FlowGAN generates optical flow, which contains only the edge and motion of the videos to be begerated. On the other hand, TextureGAN specializes in giving a texture to optical flow generated by FlowGAN. This hierarchical approach brings more realistic videos with plausible motion and appearance consistency. Our experiments show that our model generates more plausible motion videos and also achieves significantly improved performance for unsupervised action classification in comparison to previous GAN works. In addition, because our model generates videos from two independent information, our model can generate new combinations of motion and attribute that are not seen in training data, such as a video in which a person is doing sit-up in a baseball ground.

研究の動機と目的

• ラベルなしデータから現実的で整合性のある動きと外観を有する動画を生成する課題に対処すること。
• 動画生成を直交するコンポーネント（動き：光流、外観：テクスチャ）に分解することで、学習を簡素化し、品質を向上させること。
• 訓練データに存在しない動き属性と外観の組み合わせを生成可能な、分離制御を可能にすること。
• 下流の行動分類タスクに向けた教師なし動画表現学習を向上させること。

提案手法

• FlowGAN はランダムノイズから光流を生成し、テクスチャを含まずに動きのエッジと時間的連続性に焦点を当てる。
• TextureGAN は生成された光流を入力とし、前景およびシーンの整合性を保ちながら、現実的な RGB 動画のテクスチャを合成する。
• 階層的なパイプラインにより、まず動きの現実性を確保し、その後に外観の精錬を実施することで、連合動画生成の複雑さを低減する。
• FlowGAN と TextureGAN の両方とも 3D 畳み込みネットワークを用い、それぞれ動きと外観に特化した識別器を備えた敵対的訓練を実施する。
• 教師なし行動分類は、各識別器の最終層から特徴を抽出し、線形 SVM を用いて統合することで実施する。
• 光流は Brox アルゴリズムを用いて推定され、人的ラベルなしの完全な教師なし学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 動画生成を光流（動き）とテクスチャ（外観）に分離することで、生成動画の現実性と整合性が向上するか？
• RQ2 直交する情報（光流とテクスチャ）からの階層的生成は、連合生成に比べて、教師なし動画表現学習をより良くするか？
• RQ3 モデルは訓練データに存在しない動きと外観の組み合わせを生成できるか？
• RQ4 提案手法 FTGAN の性能は、従来の GAN を用いた動画生成手法と比較して、動きの品質および行動認識精度の面で優れているか？

主な発見

• 人間による評価（50本の動画、8000件の判断）により、FTGAN は VGAN などのベースライン GAN よりも顕著に現実的で整合性のある動きを生成することが確認された。
• UCF101 データセットにおいて、教師なし行動分類精度で最先端を達成し、VGAN や TGAN を上回り、最良の先行 GAN ベース手法よりも 5.5% の向上を達成した。
• FlowGAN と TextureGAN の識別器からの特徴を統合することで優れた性能が得られ、それぞれが動きと外観という補完的な動画特性を学習していることが示された。
• より複雑な Penn Action データセットにおいても、FTGAN は VGAN を上回った。これは、分離アプローチが動きの複雑性が高まるほどより効果的であることを示している。
• モデルは、訓練データにない組み合わせ、例えば野球場で腹筋運動をしている人物の動画など、新たな動きと外観の組み合わせを成功裏に生成でき、動きと外観の分離制御が有効であることを示した。
• SURREAL データセットでは TextureGAN が VGAN 程度の性能にとどまるが、Penn Action データセットでは顕著に優れた性能を示しており、複雑な動きのシナリオにおいて分離の利点が顕著に現れている。