[論文レビュー] From Here to There: Video Inbetweening Using Direct 3D Convolutions

Yunpeng Li, Dominik Roblek+1 more|arXiv (Cornell University)|May 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 20

ひとこと要約

本論文は、再帰的構成を用いない完全畝込み型エンドツーエンド3次元畝込みネットワークを提案し、2つのキーフレーム間の多様で高品質な中間フレームを生成する。時間的解像度を段階的に拡大しながら確率的潜在動画表現を学習し、逆畝込み3次元畝込みを用いて復元することで、ベンチマークデータセット上で最先端の性能を達成した。RNNベースおよび光流体法を上回り、特に長時間の動画やUCF101のような挑戦的データセットにおいて顕著な優位性を示した。

ABSTRACT

We consider the problem of generating plausible and diverse video sequences, when we are only given a start and an end frame. This task is also known as inbetweening, and it belongs to the broader area of stochastic video generation, which is generally approached by means of recurrent neural networks (RNN). In this paper, we propose instead a fully convolutional model to generate video sequences directly in the pixel domain. We first obtain a latent video representation using a stochastic fusion mechanism that learns how to incorporate information from the start and end frames. Our model learns to produce such latent representation by progressively increasing the temporal resolution, and then decode in the spatiotemporal domain using 3D convolutions. The model is trained end-to-end by minimizing an adversarial loss. Experiments on several widely-used benchmark datasets show that it is able to generate meaningful and diverse in-between video sequences, according to both quantitative and qualitative evaluations.

研究の動機と目的

• 2つのキーフレーム間の妥当な中間フレームを生成する動画中間フレーム生成を、再帰的ニューラルネットワークに依存せずに実現すること。
• 直接3次元畝込みを用いた完全畝込みアーキテクチャが、動画生成における長距離時間的依存性を効果的にモデル化できるかを検証すること。
• 潜在表現の学習と動画復元を分離することで、サンプルの多様性と動画品質を向上させること。
• 状態なしでエンドツーエンドで学習可能なモデルが、従来のRNNベースおよび光流体法を上回ることを長時間の動画中間フレームタスクで示すこと。

提案手法

• モデルは、入力の開始キーフレームと終了キーフレームを共通の潜在空間にマップする2次元畝込みエンコーダを使用する。
• 3次元畝込み潜在表現生成器は、時間的解像度を段階的に向上させながら、ゲーティング機構を用いて符号化されたキーフレームからの情報を確率的に統合する。
• 潜在表現は逆畝込み3次元畝込みを用いて動画フレームに復元され、最終的な動画シーケンスが生成される。
• リアルさと時間的整合性を向上させるために、敵対的損失を用いてエンドツーエンドで学習される。
• 生成時に確率的ノイズベクトルを注入することで、同じ入力キーフレームから多様な動画シーケンスを生成できる。
• アーキテクチャは完全に再帰を回避しており、より深いネットワークとより安定した並列学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再帰を排除した完全畝込みモデルは、中間フレーム生成において多様で現実的な動画シーケンスを効果的に生成できるか？
• RQ2 潜在表現の学習と動画復元を分離することで、動画中間フレームタスクの性能が向上するか？
• RQ3 直接3次元畝込みが、RNNベースのモデルを上回って長時間の間隔の中間フレームを生成できるか？
• RQ4 確率的統合メカニズムは、中間フレーム生成におけるサンプルの多様性と動画品質にどのように影響するか？
• RQ5 提案手法は、複雑さや時間的スパンが異なる多様なデータセットに対して頑健であるか？

主な発見

• BAIRデータセットでは、Fréchet Video Distance (FVD) が346.1に達し、長時間シーケンスの中間フレーム生成において先行手法を上回った。
• UCF101データセットでは、14フレーム分の中間フレームに対してSSIMが0.686 [0.680, 0.693] を達成し、より長い時間ベースにもかかわらず、RNNベースおよび光流体法を上回った。
• FVD埋め込み空間における平均ペアワイズコサイン距離で測定したサンプルの多様性は、統合により顕著に向上した：BAIRでは0.051から0.071に、KTHでは0.006から0.013に、UCF101では0.121から0.131に上昇した。
• アブレーションスタディにより、符号化されたキーフレームから直接生成すると性能が著しく低下し、専用の潜在表現生成器の必要性が裏付けられた。
• 定性的な結果から、100個の確率的サンプルを平均化することで、ロボットアームの運動軌跡に著しい拡散が生じることが確認され、多様性の高さが裏付けられた。
• キーフレームが0.5秒以上離れていても、意味的で多様な動画シーケンスを効果的に生成でき、長時間ギャップに対する頑健性が示された。