[論文レビュー] GODIVA: Generating Open-DomaIn Videos from nAtural Descriptions

Chenfei Wu, Lun Huang+6 more|arXiv (Cornell University)|Apr 30, 2021

Multimodal Machine Learning Applications参考文献 31被引用数 78

ひとこと要約

GODIVA は自然言語説明からオープンドメインのビデオを生成するテキスト-to-ビデオ pretrainedモデルで、VQ-VAE と三次元スパースアテンション機構を用い、Howto100M で事前学習され、新しい Relative Matching 指標で評価されます。

ABSTRACT

Generating videos from text is a challenging task due to its high computational requirements for training and infinite possible answers for evaluation. Existing works typically experiment on simple or small datasets, where the generalization ability is quite limited. In this work, we propose GODIVA, an open-domain text-to-video pretrained model that can generate videos from text in an auto-regressive manner using a three-dimensional sparse attention mechanism. We pretrain our model on Howto100M, a large-scale text-video dataset that contains more than 136 million text-video pairs. Experiments show that GODIVA not only can be fine-tuned on downstream video generation tasks, but also has a good zero-shot capability on unseen texts. We also propose a new metric called Relative Matching (RM) to automatically evaluate the video generation quality. Several challenges are listed and discussed as future work.

研究の動機と目的

• 自然言語説明から意味的に整合したビデオを生成するという課題に取り組む。
• 動画トークン生成における時間的、行、列の関係を効率的にモデル化する三次元スパースアテンション機構を提案する。
• 自己回帰生成のための離散トークンに動画をマッピングする VQ-VAE ベースのフレームワークを導入する。
• 大規模なテキスト-ビデオデータセット（Howto100M）で事前学習を行い、現実世界と合成ベンチマークで評価する。
• テキストに対して動画生成品質を自動評価する相対指標（Relative Matching）を開発する。

提案手法

• 動画フレームを離散トークンに符号化し、それらのトークンからフレームを再構成する VQ-VAE オートエンコーダを使用する。
• テキスト埋め込みと離散動画トークンを消費する自己回帰ジェネレータで P(z|t) をモデル化する。
• Temporal、Row、Column の三次元スパースアテンションを適用し、2次計算量をほぼ線形に削減する。
• シークエンス内の次の視覚トークンを予測するためのクロスエントロピーロスで訓練する。
• Howto100M で事前学習を行い MSR-VTT でファインチューニングする；任意で CLIP ベースのランキングを適用して RM スコアを改善する。

実験結果

リサーチクエスチョン

• RQ1 GODIVA は自然言語説明から意味的に整合したオープンドメインのビデオを生成できるか。
• RQ2 三次元スパースアテンション機構は効率的でスケーラブルなテキスト-to-ビデオ生成を可能にするか。
• RQ3 未知のテキスト（ゼロショット）および下流データセット（ファインチューニング）への転移はどの程度成功するか。

主な発見

• GODIVA はテキストから意味的に整合したビデオを生成する能力を示し、未見の説明でのゼロショット生成をサポートする。
• 三次元スパースアテンションは、性能を維持しつつ計算量を二次からほぼ線形に大幅低減する。
• 新しい Relative Matching (RM) 指標は、実験全体で意味的整合と視覚的品質と相関する。
• アブレーションにより Row Attention が性能に特に重要であることが示され、CLIP ランキングが RM をさらに向上させる。
• Howto100M での事前学習により MSR-VTT での効果的なファインチューニングとゼロショットの競合的結果が得られる。