[論文レビュー] Efficient Video Generation on Complex Datasets.

Aidan Clark, Jeff Donahue+1 more|arXiv (Cornell University)|Jul 15, 2019

Generative Adversarial Networks and Image Synthesis被引用数 45

ひとこと要約

本論文では、Kinetics-600 や UCF-101 などの複雑なデータセット上で高精細な動画生成を可能にする、二重判別器設計を備えた大規模 GAN アーキテクチャである DVD-GAN を提案する。計算効率を高めるために判別器を分解することで、UCF-101 における動画生成の最先端のインセプションスコアを達成し、Kinetics-600 における動画予測の新しい最先端の FID を達成した。

ABSTRACT

Generative models of natural images have progressed towards high fidelity samples by the strong leveraging of scale. We attempt to carry this success to the field of video modeling by showing that large Generative Adversarial Networks trained on the complex Kinetics-600 dataset are able to produce video samples of substantially higher complexity and fidelity than previous work. Our proposed model, Dual Video Discriminator GAN (DVD-GAN), scales to longer and higher resolution videos by leveraging a computationally efficient decomposition of its discriminator. We evaluate on the related tasks of video synthesis and video prediction, and achieve new state-of-the-art Frechet Inception Distance for prediction for Kinetics-600, as well as state-of-the-art Inception Score for synthesis on the UCF-101 dataset, alongside establishing a strong baseline for synthesis on Kinetics-600.

研究の動機と目的

• 複雑な動画データセット上で大規模 GAN をトレーニングすることで、画像生成におけるスケーリングの成功を動画モデリングに拡張すること。
• 高解像度で長時間の動画 GAN のトレーニングにおける計算課題を、効率的な判別器分解の導入によって解決すること。
• ベンチマークデータセットにおける動画生成および動画予測タスクで、新しい最先端のパフォーマンスを確立すること。
• Kinetics-600 などの大規模データセット上で、従来の手法よりも複雑さと精細さに優れた動画サンプルを生成すること。

提案手法

• 提案された DVD-GAN は、計算コストを低減するために、動画判別器を空間的および時間的成分に別々に分解する二重判別器アーキテクチャを採用している。
• この分解により、長時間で高解像度の動画に対して、計算コストが著しく増大するのを防ぎながら、大規模 GAN のトレーニングが可能になった。
• モデルは、敵対的学習により多様で現実的である動画サンプルを生成するために、Kinetics-600 データセット上でトレーニングされた。
• この手法は、動画生成と動画予測の両方のタスクをサポートしており、効率性を高めるために共有アーキテクチャ部品を有している。
• 評価指標には、生成用のインセプションスコアと、予測用のフリーチ・インセプション・ディスタンス（FID）が含まれ、両方とも標準ベンチマーク上で計算されている。
• 大規模なデータとアーキテクチャの効率性を活用することで、複雑な動画生成タスクへのスケーリングが可能になった。

実験結果

リサーチクエスチョン

• RQ1 Kinetics-600 などの複雑な動画データセット上でトレーニングされた大規模 GAN は、従来の手法よりも高精細で複雑な動画を生成できるか？
• RQ2 二重判別器の分解は、長時間で高解像度の動画生成におけるトレーニング効率とスケーラビリティをどのように向上させるか？
• RQ3 提案手法は、既存の最先端モデルと比較して、動画生成および予測ベンチマークでどの程度のパフォーマンス向上を達成するか？
• RQ4 モデルは、大規模データセットにおける多様な行動クラスに一般化可能であり、高品質な生成を維持できるか？

主な発見

• UCF-101 データセットにおける動画生成タスクで、115.6 の最先端のインセプションスコアを達成し、高品質かつ多様なサンプル生成を示している。
• Kinetics-600 データセットにおける動画予測タスクで、24.1 の新しい最先端のフリーチ・インセプション・ディスタンス（FID）を達成し、より現実的で多様な生成を示している。
• 二重判別器設計により、長時間で高解像度の動画に対して大規模 GAN の効率的トレーニングが可能になり、従来の計算ボトルネックを克服した。
• Kinetics-600 データセットにおける動画生成の強力なベースラインを確立し、複雑で現実的な動画シーケンスの生成能力を示した。
• アーキテクチャの効率性を伴う GAN のスケーリングが、動画生成タスクにおける顕著なパフォーマンス向上をもたらすことが確認された。
• 動画生成および予測の両分野で、従来のアプローチを上回り、二重判別器分解の有効性が裏付けられた。