[論文レビュー] Diverse Video Generation from a Single Video

Niv Haim, Ben Feinstein+5 more|arXiv (Cornell University)|May 11, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文は、空間時間パッチマッチングを用いたPatchMatchを活用し、高速で高解像度な合成を実現する非パrametricかつ最近傍探索ベースの手法VGPNNを提案する。単一の入力動画から多様な動画生成が可能であり、従来の単一動画GANよりも視覚的品質と速度で優れる。訓練時間は数日から数秒に短縮され、動画アナロジー、空間時間的リターゲティングといった新規な応用が可能となる。

ABSTRACT

GANs are able to perform generation and manipulation tasks, trained on a single video. However, these single video GANs require unreasonable amount of time to train on a single video, rendering them almost impractical. In this paper we question the necessity of a GAN for generation from a single video, and introduce a non-parametric baseline for a variety of generation and manipulation tasks. We revive classical space-time patches-nearest-neighbors approaches and adapt them to a scalable unconditional generative model, without any learning. This simple baseline surprisingly outperforms single-video GANs in visual quality and realism (confirmed by quantitative and qualitative evaluations), and is disproportionately faster (runtime reduced from several days to seconds). Our approach is easily scaled to Full-HD videos. We also use the same framework to demonstrate video analogies and spatio-temporal retargeting. These observations show that classical approaches significantly outperform heavy deep learning machinery for these tasks. This sets a new baseline for single-video generation and manipulation tasks, and no less important -- makes diverse generation from a single video practically possible for the first time.

研究の動機と目的

• 動画生成における従来の単一動画GANの不切実な訓練時間と低い視覚的品質を是正する。
• 古典的なパッチベース動画生成手法を再活性化・スケーリングし、単一入力から高解像度で多様な動画合成を可能にする。
• 深学習ベースの代替手法を上回る実用的で学習なしのベースラインを動画生成および操作タスクに確立する。
• 動画アナロジー、スケッチから動画への変換、空間時間的リターゲティングといった新規応用にフレームワークを拡張する。
• 単純な古典的手法が特定の動画生成タスクにおいて、複雑な深学習モデルを上回ることを示す。

提案手法

• 粗〜細かい処理を可能にするために、入力動画を複数の解像度で空間時間的ピラミッドに構築する。
• 各ピラミッドレベルにVideo-Patch-Nearest-Neighbor (VPNN)モジュールを適用し、入力から出力への空間的・時間的特徴を転送する。
• 3次元空間時間パッチにおける高速な近似最近傍探索を実現するため、PatchMatchアルゴリズムを用いる。
• 生成出力の多様性を誘導するために、最も粗いピラミッドレベルで確率的ノイズを注入する。
• 光学フローに基づく記述子（例：RAFT）を用い、動画アナロジーおよびレイアウト誘導型生成のための動的構造を抽出する。
• ピラミッド層において、コンテンツ動画のダイナミクスとスタイル動画の外観・運動を特徴の連結によって統合する。

実験結果

リサーチクエスチョン

• RQ1 パrametricで学習なしのアプローチが、深学習ベースの単一動画GANを上回る動画生成の品質と速度を達成できるか？
• RQ2 古典的なパッチベース手法を用いて、単一入力動画から多様で高解像度（例：Full-HD）の動画を生成することが可能か？
• RQ3 同じフレームワークを、無条件生成を超えたタスク、例えば動画アナロジーおよび空間時間的リターゲティングに拡張可能か？
• RQ4 近似最近傍探索にPatchMatchを用いることで、動画生成における実行時間とメモリ効率にどのような影響を与えるか？
• RQ5 古典的な空間時間パッチマッチングが、現代の深層生成モデルと同等の視覚的リアリズムと一貫性を達成できるか？

主な発見

• VGPNNは、1回の動画生成における推論時間をHP-VAE-GANの8日間からわずか18秒に短縮し、30,000倍の高速化を達成した。
• 視覚的品質において優れた性能を示し、SVFIDスコアはHP-VAE-GANの0.0081に対し0.0072を記録し、パッチ分布の類似度が向上した。
• ユーザースタディーでは、シャープネス、自然さ、一貫性の観点で67.84％の参加者がVGPNN生成動画をHP-VAE-GAN上回ると評価した。
• VGPNNはFull-HD（1280×1920）動画の生成が可能であるのに対し、HP-VAE-GANやSinGAN-GIFは低解像度出力（例：144×256）に制限されている。
• このフレームワークは、多様な無条件動画生成、動画アナロジー、スケッチから動画への変換、条件付き動画補填を実現する。
• 定量的指標および定性的な評価の両面で、VGPNNは単一動画GANを上回り、単一動画動画生成の新たな実用的ベースラインを確立した。