[論文レビュー] Towards Accurate Generative Models of Video: A New Metric & Challenges

Thomas Unterthiner, Sjoerd van Steenkiste+4 more|arXiv (Cornell University)|Dec 3, 2018

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 194

ひとこと要約

本論文は、フレシェ動画距離（FVD）を導入し、実際の動画と生成された動画の特徴量の分布的距離を測定することで、画質と時間的整合性の両方を評価する新しい動画生成モデルの評価指標を提案する。FVDは、人間の判断と整合性の高い結果を示し、従来の指標（PSNR や SSIM）を上回る。本研究では、長期間の記憶力と関係性推論能力に課題を露呈する新しいベンチマーク「StarCraft 2 Videos（SCV）」を用いて検証された。

ABSTRACT

Recent advances in deep generative models have lead to remarkable progress in synthesizing high quality images. Following their successful application in image processing and representation learning, an important next step is to consider videos. Learning generative models of video is a much harder task, requiring a model to capture the temporal dynamics of a scene, in addition to the visual presentation of objects. While recent attempts at formulating generative models of video have had some success, current progress is hampered by (1) the lack of qualitative metrics that consider visual quality, temporal coherence, and diversity of samples, and (2) the wide gap between purely synthetic video data sets and challenging real-world data sets in terms of complexity. To this extent we propose Fr\'{e}chet Video Distance (FVD), a new metric for generative models of video, and StarCraft 2 Videos (SCV), a benchmark of game play from custom starcraft 2 scenarios that challenge the current capabilities of generative models of video. We contribute a large-scale human study, which confirms that FVD correlates well with qualitative human judgment of generated videos, and provide initial benchmark results on SCV.

研究の動機と目的

• 動画生成における視覚的品質、時間的整合性、サンプルの多様性を包括的に評価できる指標の不足に応えること。
• フレーム単位の比較ではなく、動画全体の分布に基づいて動作する指標を開発すること。
• 長期間の記憶力と関係性推論能力をテストするためのベンチマークデータセット「StarCraft 2 Videos（SCV）」を提供すること。
• 大規模な人間の評価を通じて、FVDと人間の判断との相関を検証すること。
• FVDを用いて、教師画像が入手不可能な非条件付き動画生成において、最先端モデルを複数のデータセットで包括的に評価すること。

提案手法

• フレシェInception距離（FID）の動画版として、スパatiotemporal特徴量を抽出する3次元畳み込みニューラルネットワーク（3D CNN）を用いたフレシェ動画距離（FVD）を提案する。
• 実動画と生成動画の特徴量の多変量正規分布間のフレシェ距離を計算することで、フレームレベルの品質と時間的ダイナミクスの両方を捉える。
• 動画クリップを高次元埋め込みに変換するため、事前学習済みのインフレートド・3D畳み込みネットワーク（I3D）を特徴量抽出器として採用する。
• 実動画にノイズを加えることで、FVDが時間的およびフレームレベルの摂動にどれほど敏感であるかを実験的に評価する。
• 複数のモデルとデータセットを対象に、20,000件の動画サンプルを含む大規模な人間評価実験を実施し、FVDと人間の認識との相関関係を分析する。
• 長期間にわたる記憶力と関係性推論を要する4つのカスタムStarCraft 2シナリオを含む、スケーラブルなベンチマーク「StarCraft 2 Videos（SCV）」を提案する。

実験結果

リサーチクエスチョン

• RQ1 FVDは、PSNR や SSIM と比較して、人間による動画品質評価とどの程度相関しているか？
• RQ2 FVDは、生成動画におけるフレームレベルおよび時間的アーチファクトを検出できるか？
• RQ3 現在の最先端の動画生成モデルは、複雑で長期間にわたる動画生成タスクにおいて、どの程度失敗しているか？
• RQ4 異なる動画生成モデルは、BAIR、KTH、およびSCVといった多様なベンチマークでどのように性能を発揮するか？
• RQ5 FVDは、教師画像が入手不可能な非条件付き動画生成の文脈で、信頼性のある客観的指標として機能できるか？

主な発見

• FVDは人間の判断と統計的に有意な負の相関を示した（r = -0.640, τ = -0.189）が、SSIM や PSNR よりも人間の認識と整合性が高いことが判明した。
• ノイズ注入実験により、FVDはフレームレベルおよび時間的摂動の両方に感受性があることが実証された。
• SCVベンチマークにおいて、RTwMシナリオではいかなるモデルも正確な長期間のシーケンスを生成できず、長期間生成における未解決の課題が浮き彫りになった。
• CMSシナリオでは、一部のモデルが鉱石破壊の正しい順序を正しくモデル化できず、一般の破壊パターンは学習していたものの失敗した。
• BAIRおよびKTHデータセットでは、SVP-FP や SAVP といったモデルが最小のFVDスコアを記録し、時間的整合性と視覚的正確性に優れた性能を示した。
• 本研究では、複数のデータセットを対象に3,000を超えるモデルを評価し、100 GPU年以上の計算リソースを消費した。これにより、動画生成分野における包括的なベンチマークが確立された。