[論文レビュー] Transformation-based Adversarial Video Prediction on Large-Scale Data

Pauline Luc, Aidan Clark+5 more|arXiv (Cornell University)|Mar 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 89被引用数 13

ひとこと要約

本論文は、大規模データセットにおける敵対的動画予測のための新しい変換ベースの再帰的ユニット（TSRU）と改善された識別器アーキテクチャを提案する。動きに敏感な特徴変換と閉塞領域の直接生成を組み合わせることで、Kinetics-600におけるFréchet Video Distance（FVD）を69.2から25.7に低減し、最先端の性能を達成した。

ABSTRACT

Recent breakthroughs in adversarial generative modeling have led to models capable of producing video samples of high quality, even on large and complex datasets of real-world video. In this work, we focus on the task of video prediction, where given a sequence of frames extracted from a video, the goal is to generate a plausible future sequence. We first improve the state of the art by performing a systematic empirical study of discriminator decompositions and proposing an architecture that yields faster convergence and higher performance than previous approaches. We then analyze recurrent units in the generator, and propose a novel recurrent unit which transforms its past hidden state according to predicted motion-like features, and refines it to handle dis-occlusions, scene changes and other complex behavior. We show that this recurrent unit consistently outperforms previous designs. Our final model leads to a leap in the state-of-the-art performance, obtaining a test set Frechet Video Distance of 25.7, down from 69.2, on the large-scale Kinetics-600 dataset.

研究の動機と目的

• 敵対的訓練を用いて、Kinetics-600のような大規模データセットにおける動画予測性能の向上を図ること。
• 標準的な再帰的ユニットが複雑な運動や非可視領域をモデル化する際の限界を克服すること。
• 変換ベースのワープと直接的特徴生成を統合した、スケーラブルで効率的な再帰的ユニットの開発。
• 収束を加速させ、大規模学習における動画品質を向上させるために識別器アーキテクチャを最適化すること。
• 大規模モデルでも計算的に実行可能であることを保ちながら、動画予測で最先端の結果を達成すること。

提案手法

• DVD-GAN-FPにおける先行設計より収束速度と性能を向上させる、新しい識別器分解手法を提案。
• 動きに類似した特徴を予測して以前の隠れ状態を変形する、変換ベースの空間的再帰ユニット（TSRU）を導入。
• シーン内での非可視領域や新たに可視化される領域に対して、新しい特徴を生成することで変形済み特徴を精緻化。
• 要素ごとの連結と畳み込みゲーティングを用いて、変形済み特徴ストリームと生成特徴ストリームを統合。
• TSRUにおいて、完全な動的畳み込みと比較してパラメータ数と計算コストを削減するため、動的・深度分離・局所接続畳み込みを採用。
• TSRUをDVD-GAN-FPアーキテクチャに統合し、複数の解像度ブロックに跨って残差接続を適用。

実験結果

リサーチクエスチョン

• RQ1 識別器アーキテクチャの分解は、大規模動画予測における学習収束と動画品質にどのように影響するか？
• RQ2 動きに基づくワープと直接的特徴生成を統合した再帰的ユニットは、標準的な再帰的ユニットを上回る性能を示せるか？
• RQ3 大規模設定において、動的ConvLSTMと比較して、提案されたTSRUの計算コストと性能のトレードオフはいかほどか？
• RQ4 変換ベースのモジュールの統合は、多様なシーンダイナミクスにわたる一般化性と現実性の向上に寄与するか？
• RQ5 提案されたアーキテクチャは、先行SOTA手法と比較して、Kinetics-600におけるFréchet Video Distance（FVD）をどの程度低減できるか？

主な発見

• 提案された識別器アーキテクチャは、Kinetics-600データセットにおいて、先行設計よりも収束が早く、動画品質も高い。
• TSRU再帰ユニットは、定量的・定性的な両評価において、ConvGRU や Dynamic ConvLSTM といった標準的再帰ユニットを常に上回る性能を示した。
• TSRUの計算効率のおかげで、大規模学習が可能となり、バッチサイズ512における1ステップあたりの推論時間が、Dynamic ConvLSTMの6.385秒から354msにまで短縮された。
• 最終モデルは、Kinetics-600におけるFréchet Video Distance（FVD）を25.7にまで低下させ、先行SOTAの69.2から顕著な改善を達成した。
• 定性的な結果から、非常に現実的な運動パターンと妥当なシーン遷移が得られており、非可視領域の処理やカメラの動きに対しても適切に対応している。
• アブレーションスタディの結果、識別器の改善とTSRUの両方が、最終的な性能向上に顕著な寄与をしていることが確認された。