[論文レビュー] Unified Discrete Diffusion for Simultaneous Vision-Language Generation

Minghui Hu, Chuanxia Zheng+6 more|arXiv (Cornell University)|Nov 27, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本稿では、1つのアーキテクチャを用いて同時に画像・言語生成とモダリティ翻訳を実行する統合的離散拡散モデルUniD3を提案する。統合的遷移行列と埋め込みを統合した相互注意メカニズムを導入することで、テキストと画像トークンの共同分布をモデル化し、非条件的画像・テキスト生成および双方向合成タスクの両方で最先端の性能を達成した。

ABSTRACT

The recently developed discrete diffusion models perform extraordinarily well in the text-to-image task, showing significant promise for handling the multi-modality signals. In this work, we harness these traits and present a unified multimodal generation model that can conduct both the "modality translation" and "multi-modality generation" tasks using a single model, performing text-based, image-based, and even vision-language simultaneous generation. Specifically, we unify the discrete diffusion process for multimodal signals by proposing a unified transition matrix. Moreover, we design a mutual attention module with fused embedding layer and a unified objective function to emphasise the inter-modal linkages, which are vital for multi-modality generation. Extensive experiments indicate that our proposed method can perform comparably to the state-of-the-art solutions in various generation tasks.

研究の動機と目的

• タスク特化型アーキテクチャの限界を克服し、ビジョン・ランゲージ生成とモダリティ翻訳を1つのモデルに統合すること。
• 混合されたテキストと画像トークンの離散潜在空間における安定な汚染とノイズ除去を可能にする、統合的マルコフ遷移行列の設計。
• 統合された埋め込みを用いた相互注意メカニズムにより、共同分布における相互モダリティ間のリンク強化を図り、クロスモダリティ理解を向上させること。
• 最適化の簡素化とマルチモーダル信号の共同モデリングの強化を図る、統合的目的関数の開発。
• 同一フレームワーク内で非条件的生成と双方向合成（例：テキストから画像、画像からテキスト）の両方の能力を示すこと。

提案手法

• 画像を離散トークンに変換するための離散VAE（dVAE）を用い、テキストはバイトペアエンコーディング（BPE）を適用することで、複数モダリティ間で共有される潜在表現を実現する。
• 統合された遷移行列を導入し、統合されたテキストと画像トークンの間で拡散プロセスを制御することで、混合モダリティの安定な汚染とノイズ除去を可能にする。
• ノイズ除去プロセス中にクロスモダリティ依存関係をモデル化するため、統合された埋め込み層を備えた相互注意メカニズムを採用する。
• テキストと画像の再構築を同時に最適化する統合的目的関数を設計し、整合性と一貫性の向上を図る。
• 2段階訓練フレームワークを採用：まずdVAEとBPEエンコーダーをオフラインで事前学習し、その後、離散潜在コード上で統合拡散モデルを訓練する。
• 同一アーキテクチャ内で条件付き生成（例：テキスト誘導型画像生成）と非条件付き生成（例：画像・テキストペアの共同生成）の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 1つの離散拡散モデルが、ビジョンとランゲージモダリティの共同分布を効果的にモデル化できるか？
• RQ2 混合されたテキストと画像トークンの間で安定した拡散を可能にするために、統合された遷移行列をどのように設計できるか？
• RQ3 統合された埋め込みを用いた相互注意メカニズムが、クロスモダリティ生成品質に与える影響は何か？
• RQ4 同じモデルが、アーキテクチャの特化なしに、モダリティ翻訳とマルチモーダル生成の両方のタスクを実行できるか？
• RQ5 分離された目的関数と比較して、統合的目的関数は、学習安定性と生成品質の面でどのように優れているか？

主な発見

• UniD3は、非条件的画像生成ベンチマークにおいて、最先端のモデルと同等の画像品質を達成した。
• 画像キャプションタスクにおいても、SOTA手法と同等の性能を示し、画像潜在表現からの強力なゼロショットテキスト生成能力を示した。
• アブレーションスタディの結果、統合された遷移行列を削除すると性能が著しく低下し（FID: 32.63 対 16.19）、その重要性が確認された。
• 相互注意メカニズムは性能に顕著な貢献を示し、削除した場合にFIDが5.46ポイント悪化（21.65 対 16.19）した。
• 統合された遷移行列は安定性と性能を向上させ、高速サンプリング（Δt = 10）を用いた場合、標準サンプリングと比較してFIDで2.14ポイント改善した。
• 本モデルは、非条件的画像・テキスト生成、テキスト誘導型画像補完、画像条件付きキャプション生成といった複数のタスクを、1つのアーキテクチャ内で効果的にサポートした。