[論文レビュー] Video Generation from Single Semantic Label Map

Junting Pan, Chengyu Wang+5 more|arXiv (Cornell University)|Mar 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 13

ひとこと要約

本論文は、単一のセマンティックラベルマップにのみ条件付けられた新しい動画生成タスクを導入し、問題を2段階に分解する：まず、ラベルマップから高品質な初期フレームを生成し、次に条件付きVAEを用いてオプティカルフローを予測してシーンをアニメートする。本手法は、Cityscapes、KTH、UCF-101のデータセットで最先端の結果を達成し、FIDスコアおよび時間的整合性と視覚的品質における人間の好みの両面で、既存の手法を上回っている。

ABSTRACT

This paper proposes the novel task of video generation conditioned on a SINGLE semantic label map, which provides a good balance between flexibility and quality in the generation process. Different from typical end-to-end approaches, which model both scene content and dynamics in a single step, we propose to decompose this difficult task into two sub-problems. As current image generation methods do better than video generation in terms of detail, we synthesize high quality content by only generating the first frame. Then we animate the scene based on its semantic meaning to obtain the temporally coherent video, giving us excellent results overall. We employ a cVAE for predicting optical flow as a beneficial intermediate step to generate a video sequence conditioned on the initial single frame. A semantic label map is integrated into the flow prediction module to achieve major improvements in the image-to-video generation process. Extensive experiments on the Cityscapes dataset show that our method outperforms all competing methods.

研究の動機と目的

• 無条件または複数フレームに条件付けられた生成と比較して、より高い制御性と柔軟性を提供する単一のセマンティックラベルマップからの高品質で時間的に整合性のある動画生成の課題に取り組むこと。
• 多様な物体の動きや複雑なシーンに対応できないエンドツーエンドの動画生成モデルの限界を克服すること。
• 動きの推定を向上させるために、セマンティック情報をフローレスティメーションプロセスに統合し、現実性と一貫性を高めること。
• 都市風景（Cityscapes）、人間の動作（KTH、UCF-101）、ドライブシーン（KITTI）を含む多様なデータセットへの一般化を示すこと。

提案手法

• 本手法は2段階のフレームワークを用いる：まず、条件付き画像変換ネットワークがセマンティックラベルマップから高精細な初期フレームを生成する。
• 次に、生成されたフレームとセマンティックラベルマップの両方を入力として、条件付きVAEが双方向のオプティカルフローを予測し、頑健な動きモデリングを実現する。
• 予測されたフローを用いて、初期フレームを時間的に前方にワープして、その後続の動画フレームを生成する。
• 非オクルージョン領域におけるフローの信頼性を保つために、幾何的整合性損失を適用し、ワープの正確性を向上させる。
• ワープされたフレームの品質を向上させ、ワープ中に生じるアーティファクトを補正するために、ポストプロセッシングネットワークを用いる。
• リアルさと構造的一致性を向上させるために、敵対的損失と知覚的損失を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 単一のセマンティックラベルマップに条件付けられた動画生成は、高い視覚的品質と時間的整合性を維持しながら効果的に可能になるか？
• RQ2 外観特徴のみを用いる場合と比較して、フローパレディクションにセマンティック情報を統合することで、動き推定はどの程度向上するか？
• RQ3 2段階アプローチは、詳細さと動きの一貫性の観点から、エンドツーエンドの動画生成モデルをどの程度上回るか？
• RQ4 本手法は、学習ドメインを超えて多様なシーンや動作にどの程度一般化できるか？

主な発見

• Cityscapesデータセットでは、比較対象のすべての手法の中で最小のFréchet Inception Distance（FID）12.8を達成し、優れた動画品質を示している。
• 同データセットにおいて、本手法は最先端の動画予測モデルを上回り、FIDが14.2に留まるなど、入力が1フレームのみであっても強力な性能を示している。
• 人間の好みの研究では、82%の参加者が本手法をFGベースラインよりも、78%がMoCoGANよりも好んだ。
• KTHおよびUCF-101データセットでは、スキーとバイオリン演奏といった人間の動作のリアルで時間的に整合性のある動画を効果的に生成し、身体の構造と動きのダイナミクスを保持している。
• アブレーションスタディの結果、セマンティックラベルマップとオプティカルフロー予測の両方が不可欠であることが確認された。両方の要素を削除すると、視覚的品質と動きの一貫性が著しく低下する。
• KITTIデータセットに対しても、Cityscapesで学習したモデルがそのまま適用され、妥当なドライブシーンを生成でき、強力なドメイン転送能力を示している。