[論文レビュー] Towards Accurate Generative Models of Video: A New Metric & Challenges

Thomas Unterthiner, Sjoerd van Steenkiste+4 more|arXiv (Cornell University)|Dec 3, 2018

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本論文は、時間的注意を備えた特徴表現を用いて、実際の動画シーケンスと生成された動画シーケンスの分布的距離を測定することにより、動画生成モデルを評価する新しい指標であるFréchet Video Distance（FVD）を導入する。また、長期記憶力と関係的推論をテストするためのStarCraft 2 Videos（SCV）ベンチマークも提示する。FVDは人間の評価と強く相関し、動画品質、時間的整合性、多様性の評価においてSSIM や PSNR を上回る性能を示す。

ABSTRACT

Recent advances in deep generative models have lead to remarkable progress in synthesizing high quality images. Following their successful application in image processing and representation learning, an important next step is to consider videos. Learning generative models of video is a much harder task, requiring a model to capture the temporal dynamics of a scene, in addition to the visual presentation of objects. While recent attempts at formulating generative models of video have had some success, current progress is hampered by (1) the lack of qualitative metrics that consider visual quality, temporal coherence, and diversity of samples, and (2) the wide gap between purely synthetic video data sets and challenging real-world data sets in terms of complexity. To this extent we propose Fréchet Video Distance (FVD), a new metric for generative models of video, and StarCraft 2 Videos (SCV), a benchmark of game play from custom starcraft 2 scenarios that challenge the current capabilities of generative models of video. We contribute a large-scale human study, which confirms that FVD correlates well with qualitative human judgment of generated videos, and provide initial benchmark results on SCV.

研究の動機と目的

• 視覚的品質、時間的整合性、サンプルの多様性を考慮した包括的な動画生成モデルの評価指標の不足に対処すること。
• 教師付き動画シーケンスが利用できない状況でも動作する指標を開発し、非条件付き動画生成の評価を可能にすること。
• 長期間の記憶力や関係的推論といった複雑な動画生成能力をテストするためのベンチマークデータセット、StarCraft 2 Videos（SCV）を導入すること。
• FVDが人間の動画品質評価と相関することを実証的に検証すること。
• 複数のデータセットおよび解像度で、最先端の動画生成モデルを大規模にベンチマーク評価すること。

提案手法

• FVDは、スパatiotemporal特徴を動画クリップから抽出する3次元畳み込みニューラルネットワークを用いて、FIDを動画に拡張したものである。これにより、フレームレベルの品質と時間的ダイナミクスの両方を捉えることができる。
• 指標は、実際の動画特徴と生成された動画特徴の多次元正規分布間のFréchet距離を計算することで、分布レベルでの比較を可能にする。
• ノイズ注入実験により、FVDがフレームレベルおよび時間的摂動に対して感受性を示すことが確認され、その堅牢性と識別力が裏付けられた。
• FVDの人的知覚との整合性を検証するために、数千枚の動画サンプルを含む大規模な人間による研究が実施された。
• SCVベンチマークは、StarCraft 2 Learning Environmentを用いて構築され、手作業で設計されたゲームシナリオから、複雑さの異なる多様でスケーラブルな動画シーケンスが生成された。
• FVDのさまざまな距離関数と埋め込みを用いたバリエーションの広範なアブレーションスタディにより、その安定性と感受性が確認された。

実験結果

リサーチクエスチョン

• RQ1 FVDは、SSIM や PSNR といった従来のフレームレベル指標と比較して、人間の動画品質評価とどの程度相関しているか？
• RQ2 FVDは、生成された動画における時間的整合性や視覚的品質の欠陥をどの程度検出できるか？
• RQ3 FVDは、教師付き動画シーケンスが存在しない非条件付き動画生成の評価に信頼できる指標として機能できるか？
• RQ4 現在の最先端の動画生成モデルが、SCVベンチマークで示す失敗モードは何か？
• RQ5 異なる動画長、解像度、シーンの複雑さにおいて、さまざまな動画生成モデルはSCVデータセットでどの程度の性能を示すか？

主な発見

• FVDは人間の評価と強い負の相関を示した（SSIM と r = -0.640、τ = -0.189）、PSNR や SSIM よりも人間の知覚と一致する点で顕著に優れていた。
• ノイズ注入実験により、FVDがフレームレベルおよび時間的摂動の両方に対して感受性を示すことが実証され、意味のある動画品質欠陥を検出できる能力が裏付けられた。
• BAIRおよびKTHデータセットでは、最良のモデル（例：SAVP）がFVDスコア100未満を達成した一方、弱いモデルは200以上を記録し、明確な性能差が確認された。
• SCVベンチマークでは、すべてのモデルがCMSシナリオで失敗し、鉱石破片の消失順序を正しくモデル化できなかった。また、Brawlマップでは、ぼやけた曇ったユニットを生成していた。
• RTwMシナリオ（最大32フレームの生成を要件とする）は、テストされたすべてのモデルが正しくモデル化できず、現在の動画生成モデルにとって大きな課題であることが示された。
• 本研究では、複数のデータセットで3,000以上のモデルを評価し、100 GPU年を超える計算リソースを消費した。これにより、今後の研究のための包括的なベンチマークが確立された。