[論文レビュー] Probabilistic Video Generation using Holistic Attribute Control

Jiawei He, Andreas Lehrmann+3 more|arXiv (Cornell University)|Mar 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 5

ひとこと要約

この論文では、一貫性があり多様な動画シーケンスを生成するために、包括的な属性制御（例：アイデンティティ、アクション）を備えた構造的ラティス空間を用いる確率的動画生成フレームワーク、VideoVAEを提案する。変分オートエンコーダー（VAEs）とLSTMを組み合わせ、時間的ダイナミクスをモデル化し、属性の推論と条件付き生成を両立させることで、複数のデータセットにおいて、動画生成の質と多様性の面で最先端の性能を達成している。

ABSTRACT

Videos express highly structured spatio-temporal patterns of visual data. A video can be thought of as being governed by two factors: (i) temporally invariant (e.g., person identity), or slowly varying (e.g., activity), attribute-induced appearance, encoding the persistent content of each frame, and (ii) an inter-frame motion or scene dynamics (e.g., encoding evolution of the person ex-ecuting the action). Based on this intuition, we propose a generative framework for video generation and future prediction. The proposed framework generates a video (short clip) by decoding samples sequentially drawn from a latent space distribution into full video frames. Variational Autoencoders (VAEs) are used as a means of encoding/decoding frames into/from the latent space and RNN as a wayto model the dynamics in the latent space. We improve the video generation consistency through temporally-conditional sampling and quality by structuring the latent space with attribute controls; ensuring that attributes can be both inferred and conditioned on during learning/generation. As a result, given attributes and/orthe first frame, our model is able to generate diverse but highly consistent sets ofvideo sequences, accounting for the inherent uncertainty in the prediction task. Experimental results on Chair CAD, Weizmann Human Action, and MIT-Flickr datasets, along with detailed comparison to the state-of-the-art, verify effectiveness of the framework.

研究の動機と目的

• 単一の初期フレームまたは部分的な属性から、時間的に整合性があり多様な動画シーケンスを生成する課題に対処すること。
• 将来の運動パターンにおける不確実性を考慮する確率的プロセスとして動画生成をモデル化すること。
• 分離可能で制御可能な属性（例：アイデンティティ、アクション）を用いてラティス空間を構造化することで、動画生成の質と一貫性を向上させること。
• トレーニング中に属性の条件付き生成と推論を両立させることで、制御性と一般化性能を向上させること。

提案手法

• 高次元のラティス分布に動画フレームを符号化するためのVAEを用い、視覚的コンテンツの確率的符号化を可能にする。
• ラティス空間内の時間的ダイナミクスをモデル化するため、LSTMを採用し、フレーム間での運動の変化を捉える。
• データから推論可能または生成時に固定可能な包括的属性制御を持つ構造的ラティス空間を導入する。
• 各サンプルを以前のラティス状態に条件づける時間的条件付きサンプリングを適用し、生成フレーム間の一貫性を確保する。
• ラティス空間内の階層的条件付き事後分布を用いて、属性の条件付き生成と推論を両立させる。
• 再構成誤差とKLダイバージェンス項を最適化する変分推論の目的関数を用いて、モデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 部分的な属性制御下でも、多様で時間的に整合性のある動画シーケンスを生成できるか？
• RQ2 ラティス空間における構造的属性制御は、動画生成の質と制御性をどのように向上させるか？
• RQ3 属性推論と条件付き生成を併用することで、生成性能と分離性はどの程度向上するか？
• RQ4 最先端のモデルと比較して、本フレームワークは多様性、質、一貫性の面でどのように優れているか？

主な発見

• 提案されたVideoVAEは、MoCoGANベンチマークでインセプションスコア69.55を達成し、ベースラインのMoCoGAN（13.87）を著しく上回った。
• 完全な属性制御（例：アイデンティティとアクション）により、モードが単一で一貫性のある動画シーケンスが生成され、運動や外見における不確実性が排除された。
• 部分的な属性制御（例：アクションは固定するがアイデンティティは固定しない）により、異なるアイデンティティ間で多様なサンプルが得られ、制御された多様性が実現された。
• 時間的に変化する属性制御により、アクションの滑らかな遷移（例：歩行→走行→歩行）が可能になり、現実的な運動遷移が生成された。
• Chair-CAD、Weizmann Human Action、MIT Flickrデータセットにおける定性的な結果から、構造的・非構造的シーンの両方で現実的で整合性のある動画生成が可能であることが示された。
• アブレーションスタディの結果、属性制御と時間的条件付きサンプリングが生成の一貫性と質の向上に重要であることが確認された。