[論文レビュー] Improving Video Generation for Multi-functional Applications

Bernhard Kratzwald, Zhiwu Huang+3 more|arXiv (Cornell University)|Nov 30, 2017

Generative Adversarial Networks and Image Synthesis参考文献 57被引用数 13

ひとこと要約

本稿では、背景・前景や動的・静的コンテンツに分離することなく、安定したワッサーシュタイン GAN フレームワークを用いて高品質な動画を生成するワンストリーム動画 GAN である iVGAN を提案する。本モデルは複数のデータセットで最先端のモデルを上回り、従来 GAN では未解決であった動画の色分け、穴埋め補填、将来予測といったマルチファンクショナルな応用を可能にする。

ABSTRACT

In this paper, we aim to improve the state-of-the-art video generative adversarial networks (GANs) with a view towards multi-functional applications. Our improved video GAN model does not separate foreground from background nor dynamic from static patterns, but learns to generate the entire video clip conjointly. Our model can thus be trained to generate - and learn from - a broad set of videos with no restriction. This is achieved by designing a robust one-stream video generation architecture with an extension of the state-of-the-art Wasserstein GAN framework that allows for better convergence. The experimental results show that our improved video GAN model outperforms state-of-theart video generative models on multiple challenging datasets. Furthermore, we demonstrate the superiority of our model by successfully extending it to three challenging problems: video colorization, video inpainting, and future prediction. To the best of our knowledge, this is the first work using GANs to colorize and inpaint video clips.

研究の動機と目的

• 背景の安定化や前景・背景の分離を必要としない、堅牢で制限のない動画生成フレームワークの開発。
• 入力データのアーキテクチャ的制約なしに、多様な動画生成タスクをエンドツーエンドの教師なし学習で可能にする。
• 動画の色分け、穴埋め補填、将来予測といったマルチファンクショナルな応用にモデルを拡張し、生成を超えた汎用性を示す。
• カメラが動くか、背景が変化する動画では失敗する過去の二ストリームモデルの限界を克服する。

提案手法

• 背景・前景や動的・静的成分に分解せず、空間的および時間的依存関係を統合的にモデル化するワンストリーム動画生成器を設計する。
• 訓練の安定化と収束性の向上を図るため、勾配ペナルティを用いたワッサーシュタイン GAN フレームワークを採用し、深層残差アーキテクチャの実装を可能にする。
• 色分け、穴埋め補填、将来予測といったマルチファンクショナルタスクに拡張するため、補助エンコーダーとタスク固有の損失関数を導入する。
• 各タスクに適した adversarial loss、reconstruction loss、perceptual losses を用いて、敵対的損失、再構成損失、知覚的損失を統合し、エンドツーエンドの教師なし学習を実行する。
• 再構成または生成されたフレームが時間的に妥当な運動と物体の連続性を保つように、時間的整合性損失を適用する。
• カメラの動きを伴う未処理の動画に対しても、モデルがシーンダイナミクスを学習した理解に依拠して適用可能である。

実験結果

リサーチクエスチョン

• RQ1 背景の安定性や物体の分離に関する事前仮定なしに、ワンストリーム動画 GAN アーキテクチャが高品質な動画を生成できるか？
• RQ2 提案された iVGAN モデルは、色分け、穴埋め補填、将来予測といった多様な動画生成タスクに一般化できるか？
• RQ3 カメラが動くか、背景が変化する動画では、従来のモデルが失敗する状況において、本モデルはどのように性能を発揮するか？
• RQ4 生成または再構成された動画クリップにおいて、モデルが空間的・時間的整合性をどれほど正確に学習・強制できるか？

主な発見

• iVGAN は、背景の安定化を要しない複数の挑戦的なデータセットで最先端のモデルを上回り、優れた動画生成品質を示した。
• アマゾン MTurk における塩こしょうノイズ穴埋め補填のユーザーレーティングは 3.63/4.10 であり、遮蔽があっても現実的であることが示された。
• ピーク信号対ノイズ比 (PSNR) のスコアは、ランダムなボックス位置での穴埋め補填が固定位置とほぼ同等の性能を示しており、入力の摂動に対して強いロバストネスを示した。
• 将来予測のタスクでは、1フレームからの入力でも妥当な運動を生成できたが、再構成ガイドラインが限られているため、将来的なフレームはぼやけたものとなった。
• 部分的遮蔽下でも、時間的に一貫した物体再構成をモデルが学習しており、優れた時間的連続性を示した。
• 本研究は、GAN を用いた動画の色分けと穴埋め補填の初めての試みであり、モデルが意味的コンテンツを学習し、複数のタスクに応用可能であることを示した。