[論文レビュー] Video-to-Video Synthesis

Ting-Chun Wang, Ming-Yu Liu+5 more|arXiv (Cornell University)|Aug 20, 2018

Advanced Vision and Imaging参考文献 78被引用数 126

ひとこと要約

条件付き GAN フレームワークを提案し、入力 video 表現（例：セマンティックマスク、スケッチ、ポーズ）を写真実的で時間的一貫性のある動画に変換する。 coarse-to-fine ジェネレータと画像および動画の現実感のためのデュアル識別器を用い、高解像度の結果と multimodal 能力を示す。将来の動画予測を含む。

ABSTRACT

We study the problem of video-to-video synthesis, whose goal is to learn a mapping function from an input source video (e.g., a sequence of semantic segmentation masks) to an output photorealistic video that precisely depicts the content of the source video. While its image counterpart, the image-to-image synthesis problem, is a popular topic, the video-to-video synthesis problem is less explored in the literature. Without understanding temporal dynamics, directly applying existing image synthesis approaches to an input video often results in temporally incoherent videos of low visual quality. In this paper, we propose a novel video-to-video synthesis approach under the generative adversarial learning framework. Through carefully-designed generator and discriminator architectures, coupled with a spatio-temporal adversarial objective, we achieve high-resolution, photorealistic, temporally coherent video results on a diverse set of input formats including segmentation masks, sketches, and poses. Experiments on multiple benchmarks show the advantage of our method compared to strong baselines. In particular, our model is capable of synthesizing 2K resolution videos of street scenes up to 30 seconds long, which significantly advances the state-of-the-art of video synthesis. Finally, we apply our approach to future video prediction, outperforming several state-of-the-art competing systems.

研究の動機と目的

• 入力 video 表現を写真実的な出力動画へ変換する問題を動機づけ、定式化する。
• 時系列の一貹性と高い視覚品質を確保するための専門的なジェネレータと識別器を備えた条件付き GAN フレームワークを開発する。
• オプティカルフローベースのワーピングとオクルージョン処理を組み込んだ逐次的な時空間生成プロセスを導入する。
• インスタンスレベルの特徴を注入して多様な出力を得ることでマルチモーダルな動画合成を可能にする。
• このアプローチを将来の動画予測へ拡張し、複数のデータセットで一般化と品質向上を示す。

提案手法

• Video-to-video 合成を条件付き分布マッチング p(xtilde1..T|s1..T) ≈ p(x1..T|s1..T) として定式化する。
• 過去の出力と現在/過去のソースフレームを用いて xtilde_t を予測する逐次的ジェネレータ F を使用し、時系列条件付けのために L=2 を採用する。
• xtilde_t を、予測された光フロー W と hallucinated 成分 H によるワープとしてモデル化し、ソフトオクルージョンマスク m_t でブレンドする。
• 動く物体を含む前景と、通常は視点安定領域である背景を分離して合成を誘導する前景-背景の事前情報を導入する。
• 2 つの識別器を導入する： per-frame の現実性を評価する条件付き画像識別器 DI、短期および長期の時系列的一貫性を評価する条件付き動画識別器 DV、さらに flow ベースの損失 LW を用いる。
• L = minF maxDI LI + maxDV LV + LW を共有最適化し、特徴マッチングと知覚損失を用いて訓練を安定化する。
• 高解像度結果のために 3 段階のスケール（512x256、1024x512、2048x1024） の coarse-to-fine ジェネレータを採用し、マルチスケール PatchGAN 識別器を用いる。
• インスタンスレベルのマスクの潜在特徴埋め込みを学習してマルチモーダル合成を可能にし、テスト時にはクラス固有の分布からサンプルして出力を多様化する。
• 将来のセマンティクスを先に予測し、それを動画へ翻訳する同じ合成パイプラインを用いて将来の動画予測へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 manipulable input representations（セマンティケーション、スケッチ、ポーズ）から写真実的で時間的一貫性のある動画を合成できる条件付き GAN フレームワークは機能するか？
• RQ2 時空間的目標とオプティカルフローベースのワーピングを取り入れると、フレームごとの画像間ベースラインより時間的な一貫性と視覚品質は向上するか？
• RQ3 インスタンスレベルの特徴を注入してマルチモーダルな動画合成を実現し、同じ入力から多様な出力を生成できるか？
• RQ4 長い動画（例：2K 解像度で30秒）および異なる入力モダリティ（セマンティックマスク、スケッチ、ポーズ）での性能はどうか？
• RQ5 将来の動画予測のために、将来のセマンティクスを先に予測し、その後動画へ翻訳する方法は有効か？

主な発見

• 提案された vid2vid アプローチは、Cityscapes や関連データセットで pix2pixHD や COVST のような強力なベースラインよりも主観的評価と客観的指標の両方で高い知覚品質と時間的一貫性を示す。
• モデルは 2K 解像度の動画を最大 30 秒長く生成でき、写真実的品質を維持しつつフレーム間の時間的一貫性を保つ。
• 光フローベースのワーピング成分とソフトオクルージョンマスクを備えた coarse-to-fine ジェネレータは、エッジベースのワーピングだけと比べてディテール合成と安定性を改善する。
• 前景-背景の事前情報を組み込むことで視覚品質が大幅に向上し、アブレーション研究でも削除すると劣化が顕著であることが示される。
• インスタンスレベルの特徴をサンプリングしてマルチモーダル合成をサポートし、同じ入力から多様な出力を可能にし、木から建物への変化など意味的内容の操作を行いながら動画の現実性を維持できる。
• 将来の動画予測では、他の手法と比べて Fréchet Inception Distance が低く、主観的評価スコアが高く、PredNet や MCNet より優れていると報告された評価結果が示される。