[論文レビュー] TwoStreamVAN: Improving Motion Modeling in Video Generation

Ximeng Sun, Huijuan Xu+1 more|arXiv (Cornell University)|Dec 3, 2018

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 7

ひとこと要約

TwoStreamVAN は、マルチスケール融合とモーションマスクを用いて、動画生成における動きとコンテンツの分離を実現する、分離型の二重ストリーム変分的対抗ネットワークを提案する。この手法は、時間的整合性と視覚的品質を向上させ、Weizmann、MUG、VoxCeleb、および新規の大規模な合成データセット（SynAction）において、最先端の手法を顕著に上回り、動きモデリングとコンテンツ忠実度の両面で優れた定量的・定性的な結果を達成した。

ABSTRACT

Video generation is an inherently challenging task, as it requires modeling realistic temporal dynamics as well as spatial content. Existing methods entangle the two intrinsically different tasks of motion and content creation in a single generator network, but this approach struggles to simultaneously generate plausible motion and content. To im-prove motion modeling in video generation tasks, we propose a two-stream model that disentangles motion generation from content generation, called a Two-Stream Variational Adversarial Network (TwoStreamVAN). Given an action label and a noise vector, our model is able to create clear and consistent motion, and thus yields photorealistic videos. The key idea is to progressively generate and fuse multi-scale motion with its corresponding spatial content. Our model significantly outperforms existing methods on the standard Weizmann Human Action, MUG Facial Expression, and VoxCeleb datasets, as well as our new dataset of diverse human actions with challenging and complex motion. Our code is available at https://github.com/sunxm2357/TwoStreamVAN/.

研究の動機と目的

• 既存の結合型生成器アーキテクチャにおける動きモデリングの質の低さがコンテンツ品質を損なうという課題に対処すること。
• 復元段階における動きとコンテンツの生成を分離することで、時間的整合性と視覚的リアリズムを向上させること。
• 異なる解像度で動きとコンテンツを精緻化するスケーラブルなマルチスケール融合機構を開発すること。
• 動きに関連する領域に学習を集中させ、静的コンテンツを保存するためのモーションマスクを導入すること。
• 複雑な動きモデリングの評価を目的とした大規模な合成ヒューマンアクションデータセット（SynAction）を構築・公開すること。

提案手法

• TwoStreamVAN は、それぞれが分離された潜在コード εc と εm に条件付けられた、コンテンツ用と動き用の二つの並列生成器を採用する。
• 動きとコンテンツは、異なる解像度の途中特徴層に適用されるマルチスケール精錬機構を通じて統合される。
• 各スケールで学習されたモーションマスクが適用され、関係のない領域を抑制することで、モデルが動きに影響を受ける領域に集中し、静的コンテンツを保持する。
• モデルは二重タスク学習方式を採用しており、コンテンツには画像レベルの監視、動きには動画レベルの監視を適用し、両ストリームを独立して向上させる。
• マルチスケール融合では、小スケールのカーネルサイズ（n=5）を複数の層にわたって使用し、空間的グレインを段階的に向上させながら動きとコンテンツを精錬する。
• フレームワークは、VAE風の分離と GAN を用いた対抗的訓練を組み合わせた変分的対抗ネットワーク（VAN）アーキテクチャに基づいている。

実験結果

リサーチクエスチョン

• RQ1 復元段階における動きとコンテンツの生成の分離は、結合型生成器と比較して動画生成品質を向上させるか？
• RQ2 動きとコンテンツのマルチスケール融合は、生成動画シーケンスのリアリズムと鮮鋭さにどのように影響するか？
• RQ3 モーションマスクは、静的コンテンツを保持しつつ、動きモデリングの忠実度をどの程度向上させるか？
• RQ4 画像レベルと動画レベルの監視による分離学習は、コンテンツと動きの両方の生成を向上させるか？
• RQ5 本モデルは、標準ベンチマークをはるかに超える複雑で多様なヒューマンアクションに一般化できるか？

主な発見

• SynAction データセットにおいて、TwoStreamVAN は FVD を 102.4 に達成し、MoCoGAN（142.3）および他のベースラインを顕著に上回った。
• Weizmann Human Action データセットでは、TwoStreamVAN はインセプションスコア（IS）を 77.83 に達成し、単一融合ベースライン（75.89）を上回り、動きの明瞭さが向上した。
• 大きな動き（例：走り）に対して、条件付きエントロピー H(y|v) を 0.062 に低下させ、フレーム間で一貫性があり現実的な動き生成が可能になった。
• アブレーションスタディの結果、4層にわたる n=5 のマルチスケール融合が、大きなカーネル（n=17）を用いた単一スケール融合よりも優れており、特に脚部などの高動的領域で顕著な差が見られた。
• モーションマスクは、静的領域（例：背景パターンや目のテクスチャ）におけるアーティファクトを低減した。TwoStreamVAN(−M) では、このような領域でぼやけたまたは歪んだパターンが生成された。
• ユーザースタディの結果、TwoStreamVAN は特に複雑な動きシーケンスにおいて、ベースラインと比較してより現実的で整合性のある動画を生成することが確認された。