[論文レビュー] NÜWA: Visual Synthesis Pre-training for Neural visUal World creAtion

Chenfei Wu, Jian Liang+5 more|arXiv (Cornell University)|Nov 24, 2021

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

NÜWA は、3D 近接注意（3DNA）を備えた共有エンコーダ・デコーダアーキテクチャを用いて、画像および動画の生成・操作を統合的に行う 3D トランスフォーマーベースの事前学習モデルであり、8 つの視覚的合成タスクにおいて最先端の性能を達成し、テキストから画像や動画を生成するタスク、および操作タスクにおける強力なゼロショット能力を有する。

ABSTRACT

This paper presents a unified multimodal pre-trained model called NÜWA that can generate new or manipulate existing visual data (i.e., images and videos) for various visual synthesis tasks. To cover language, image, and video at the same time for different scenarios, a 3D transformer encoder-decoder framework is designed, which can not only deal with videos as 3D data but also adapt to texts and images as 1D and 2D data, respectively. A 3D Nearby Attention (3DNA) mechanism is also proposed to consider the nature of the visual data and reduce the computational complexity. We evaluate NÜWA on 8 downstream tasks. Compared to several strong baselines, NÜWA achieves state-of-the-art results on text-to-image generation, text-to-video generation, video prediction, etc. Furthermore, it also shows surprisingly good zero-shot capabilities on text-guided image and video manipulation tasks. Project repo is https://github.com/microsoft/NUWA.

研究の動機と目的

• テキスト、画像、動画を一つのフレームワーク内で処理できる統合的マルチモーダル事前学習モデルの開発。
• 空間的・時間的局所性を尊重する 3D アテンション機構を導入することで、従来の自己回帰的視覚モデルの計算非効率性と一般化能力の限界を是正すること。
• 共有マルチモーダル事前学習デコーダーを活用し、テキスト誘導型の画像および動画操作をゼロショットで可能にすること。
• VQ-GANに基づく離散トークン化と画像・動画データにおけるマルチタスク事前学習を統合することで、視覚的生成品質およびスケーラビリティを向上させること。
• 画像と動画のモデリングを同一アーキテクチャで統合し、両モダリティを同時に事前学習することで、意味的・構造的整合性を強化すること。

提案手法

• テキストを 1D、画像を 2D、動画を 3D シーケンスとして扱う 3D トランスフォーマーエンコーダ・デコーダフレームワークを設計し、モダリティを横断的に統合処理可能にする。
• 3D 近接注意（3DNA）を導入し、自己注意を隣接する空間的および時間的トークンに制限することで、計算量を削減しながらも局所構造を保持するスパarsなアテンション機構を実現。
• VQ-VAE の代わりに VQ-GAN を用いて視覚的トークン化を実施し、生成品質の向上と高解像度データにおける効率的な事前学習を可能にする。
• テキストから画像（T2I）、テキストから動画（T2V）、動画から動画（V2V）の 3 つのコアタスクを統合的に事前学習することで、クロスモダリティおよび動画固有の表現を同時に学習。
• 部分的な入力またはテキストプロンプトに条件づけることで、画像・動画生成、補完、予測、テキスト誘導型操作の 8 つの下流タスクに同一デコーダーを適用。
• テキストまたは視覚的スケッチ（例：3D スケッチ）を処理する共有で適応可能なエンコーダーを設計し、それを共有デコーダーに供給することで生成または操作を実現。

実験結果

リサーチクエスチョン

• RQ1 統合的 3D トランスフォーマーアーキテクチャは、テキスト、画像、動画を横断する多様な視覚的合成タスクを効果的に処理できるか？
• RQ2 動画および画像生成において、軸方向アテンションやフル自己注意と比較して、3D 近接アテンション機構は生成品質および計算効率を向上させるか？
• RQ3 T2I、T2V、V2V におけるマルチタスク事前学習は、テキスト誘導型画像および動画操作タスクにおけるゼロショット性能をどの程度向上させるか？
• RQ4 事前学習段階で画像と動画データを統合的に扱うことで、単一モダリティで学習されたモデルと比較して、下流の視覚的合成性能がどのように向上するか？
• RQ5 テキストプロンプトと部分的入力のみが与えられた状態で、1 つの事前学習モデルが微調整なしにゼロショット操作タスクに一般化可能か？

主な発見

• NÜWA は MSR-VTT データセットにおいて、テキストから動画生成タスクで FID-vid 47.68 を達成し、ベースラインを大きく上回る最先端の性能を示した。
• MSR-VTT において CLIPSIM スコアが 0.2439 を記録し、生成された動画とテキスト記述との間で強い意味的整合性を示した。
• T2I、T2V、V2V におけるマルチタスク事前学習により、T2V のみで学習した場合と比較して FID-vid が 5.3 ポints 向上し、統合学習の有効性を裏付けた。
• 3DNA 機構により計算複雑性が低減されるとともに視覚的品質が向上し、VSPW スケッチから動画生成タスクで FID-vid 27.79、検出された PA 0.6085 を達成した。
• NÜWA はテキスト誘導型動画操作において強力なゼロショット能力を示し、1 つのプロンプトから「水中を上昇」「底に到達」「上昇飛行」などの多様な動作を的確に生成した。
• エンコーダーやデコーダーをフル自己注意に置き換えると性能が低下し、高品質な生成には局所的アテンションが不可欠であることが確認された。