[論文レビュー] Unsupervised Bi-directional Flow-based Video Generation from one Snapshot

Lu Sheng, Junting Pan+4 more|arXiv (Cornell University)|Mar 3, 2019

Advanced Vision and Imaging参考文献 39被引用数 6

ひとこと要約

本稿では、双方向フロー予測を用いて、1枚の画像から高品質で写真のようなリアルな動画シーケンスを合成する、教師なしでエンドツーエンドの動画生成フレームワーク「ImagineFlow」を提案する。サイクル整合性のある双方向フローとオクルージョンに配慮した合成により、外部のフローサポートを必要とせず、ワーピングアーティファクトやオクルージョンの問題を解消し、定量的・定性的な両面で先行手法を上回る性能を発揮する。

ABSTRACT

Imagining multiple consecutive frames given one single snapshot is challenging, since it is difficult to simultaneously predict diverse motions from a single image and faithfully generate novel frames without visual distortions. In this work, we leverage an unsupervised variational model to learn rich motion patterns in the form of long-term bi-directional flow fields, and apply the predicted flows to generate high-quality video sequences. In contrast to the state-of-the-art approach, our method does not require external flow supervisions for learning. This is achieved through a novel module that performs bi-directional flows prediction from a single image. In addition, with the bi-directional flow consistency check, our method can handle occlusion and warping artifacts in a principled manner. Our method can be trained end-to-end based on arbitrarily sampled natural video clips, and it is able to capture multi-modal motion uncertainty and synthesizes photo-realistic novel sequences. Quantitative and qualitative evaluations over synthetic and real-world datasets demonstrate the effectiveness of the proposed approach over the state-of-the-art methods.

研究の動機と目的

• ペaired動画データや外部のフローサポートに依存せずに、1枚の静止画像から高品質で写真のようなリアルな動画シーケンスを生成すること。
• 特にオクルージョンやディソクルージョン領域において、視覚的歪みやワーピングアーティファクトを解消することの挑戦に応えること。
• 教師なしの枠組みで、1枚の画像からコンテンツに適応した多様な動きパターンを学習することで、マルチモーダルな動きの不確実性をモデル化すること。
• 双方向フローパターン予測におけるサイクル整合性を活用して、オクルージョンとワーピングアーティファクトを一貫的かつ原理的かつ強固に処理すること。
• 高価な真値フローアノテーションを避けるために、自然に抽出された動画クリップのみを用いてエンドツーエンドの学習を実現すること。

提案手法

• 再パrameter化を用いた変分自己オートエンコーダーの枠組みを採用し、1枚の画像から前向きおよび後向きの両方のフローフィールドを予測する双方向フローゲネレータを提案する。
• 外部の監視信号を必要とせず、フローラーニングを正則化するための自己監視信号として、前向きと後向きのフロー間のサイクル整合性を実装する。
• 双線形ワーピングの結果と、フローサイクル整合性から導出される可視性マスクを統合する学習可能なマッピングモジュールを用いて、新規フレームを合成する。
• 前向きおよび後向きのフローのサイクルが元の画像を再構築できない領域を特定することで、オクルージョン検出を実現し、フローパラメータの伝搬に代わる選択的ピクセルホールーシュレーションを可能にする。
• 最大プーリングを最近傍補間への置き換えで置き換えたスキップ接続付きのVGG-19ベースのエンコーダデコーダネットワークを採用し、オクルージョンに配慮した画像合成を実現する。
• 対照的再構成損失と adversarial 損失を活用して視覚的忠実度を向上させるために、自然な動画クリップのみを用いて、モデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像からの双方向フローパターン予測を、完全に教師なしの枠組みで、フローサイクル整合性を維持しながらワーピングアーティファクトを低減する形で学習可能か？
• RQ2 真値マスクに依存せずに、一貫的かつ原理的な方法でオクルージョンを検出し、処理できるか？
• RQ3 エンドツーエンドで教師なしの枠組みで、外部のフローサポートを必要とせず、多様で写真のようなリアルな動画シーケンスを生成可能か？
• RQ4 双方向フローにおけるサイクル整合性は、単方向フローに基づく手法と比較して、動きの妥当性と視覚的品質をどの程度向上させるか？
• RQ5 提案されたオクルージョンに配慮した合成モジュールは、標準的なワーピングベースの生成手法と比較して、ディソクルージョン領域と視覚的アーティファクトの処理において、どの程度優れているか？

主な発見

• 本手法は、合成データおよび実世界のベンチマークの両方で最先端の性能を達成し、MoCoGAN、VGAN、Visual Dynamics、FRGANなどの先行手法を定量的指標および視覚的品質の両面で上回った。
• アブレーションスタディの結果、サイクル整合性を有する双方向フローラーニングは、単方向フローのベースラインと比較して、ワーピングアーティファクトの低減と再構築忠実度の向上に顕著な効果を示した。
• モデルは1枚の画像から多様で妥当な動画シーケンスを生成でき、潜在的動き変数の確率的サンプリングによりマルチモーダルな動きの不確実性を捉えることに成功した。
• オクルージョンに配慮した合成により、よりリアルな背景再構築とワーピングの重複部分の滑らかな修復が可能となり、特に長期の動画シーケンスにおいて顕著に効果を発揮した。
• 外部のフローサポートを一切使用せず、自己監視的サイクル整合性がフローラーニングに有効であることを実証した。
• 定量的評価では、FVD、FID、LPIPSスコアのすべてで顕著な改善が得られ、FIDスコアは先行の教師なし手法と比較して最大15%低下した。