[論文レビュー] Versatile Diffusion: Text, Images and Variations All in One Diffusion Model

Xingqian Xu, Zhangyang Wang+3 more|arXiv (Cornell University)|Nov 15, 2022

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

Versatile Diffusion (VD) は、1つのモデルでテキストから画像生成、画像からテキスト生成、画像変換、および新しいクロスモーダル生成タスクを統合的に処理する包括的なマルチフロー拡散フレームワークを導入する。共有可能で交換可能なモジュール層を活用することで、VD はすべての基本的タスクで競争力のある性能を達成し、セマンティック・スタイルの分離やデュアル／マルチコンテキストブレンドといった新しい機能を実現。これにより、従来のシングルフロー・モデルに比べ、マルチモーダル生成の質と多様性が向上する。

ABSTRACT

Recent advances in diffusion models have set an impressive milestone in many generation tasks, and trending works such as DALL-E2, Imagen, and Stable Diffusion have attracted great interest. Despite the rapid landscape changes, recent new approaches focus on extensions and performance rather than capacity, thus requiring separate models for separate tasks. In this work, we expand the existing single-flow diffusion pipeline into a multi-task multimodal network, dubbed Versatile Diffusion (VD), that handles multiple flows of text-to-image, image-to-text, and variations in one unified model. The pipeline design of VD instantiates a unified multi-flow diffusion framework, consisting of sharable and swappable layer modules that enable the crossmodal generality beyond images and text. Through extensive experiments, we demonstrate that VD successfully achieves the following: a) VD outperforms the baseline approaches and handles all its base tasks with competitive quality; b) VD enables novel extensions such as disentanglement of style and semantics, dual- and multi-context blending, etc.; c) The success of our multi-flow multimodal framework over images and text may inspire further diffusion-based universal AI research. Our code and models are open-sourced at https://github.com/SHI-Labs/Versatile-Diffusion.

研究の動機と目的

• テキストから画像、画像からテキスト、画像変換の複数の生成タスクを、1つのスケーラブルな拡散モデルに統合すること。
• 既存のシングルフロー拡散モデルが1つのタスクに特化しており、別々のアーキテクチャを必要としているという制限を克服すること。
• 共有でモジュラーなアーキテクチャを通じて、画像やテキストを越えたクロスモーダル一般化を可能にすること。
• セマンティック・スタイルの分離やマルチコンテキストブレンドのような新しい生成機能を探索すること。
• 統合的でマルチフローな拡散フレームワークが、競争力のある性能を発揮するとともに、新たな下流アプリケーションを可能にすることを示すこと。

提案手法

• テキストから画像、画像からテキスト、画像変換の3つのフローを同時に処理できる汎用的なマルチフロー拡散パイプラインを設計すること。
• クロスモーダル情報共有とタスク固有の適応を可能にするために、共有可能で交換可能なモジュール層を実装すること。
• Optimus VAE を用いたテキスト用、AutoKL を用いた画像用の VAE ベースのエンコーダ・デコーダ構造を備えた共有潜在空間を採用すること。
• LAION-2B や COYO といった大規模データセットを用いて、すべてのフローで共同目的関数を用いてエンドツーエンドで学習すること。
• 1枚の画像と1つのテキスト、または複数枚の画像と1つのテキストを条件として与えることで、デュアルおよびマルチコンテキストブレンドを実現すること。
• すべてのフローにわたって反復的リファインメントとノイズスケジューリングを適用し、一貫性と品質を維持すること。

実験結果

リサーチクエスチョン

• RQ1 1つの拡散モデルが、テキストから画像生成、画像からテキスト生成、画像変換といった多様なマルチモーダル生成タスクを効果的に処理できるか。
• RQ2 統一アーキテクチャが、タスク固有の微調整なしに複数のフローで高い性能を維持できるか。
• RQ3 マルチフローでマルチモーダルな設計から、どのような新しい生成機能（例：分離やコンテキストブレンド）が生じるか。
• RQ4 共有表現学習が、ゼロショットまたはフェイントショットの一般化性能をどの程度向上させるか。
• RQ5 フローの複雑さとデータの多様性が増加するに従って、モデルの性能はどの程度向上するか。

主な発見

• VD は、テキストから画像生成および画像変換タスクでベースラインモデルを上回り、意味的に根拠のある高品質な出力を生成し、一貫性が向上している。
• モデルはセマンティック・スタイルの分離を成功裏に実現し、ユーザーがコンテンツとは独立してスタイルを変更できるようにしている。これは、制御された画像編集によって実証された。
• デュアルおよびマルチコンテキストブレンドタスクが効果的にサポートされており、1枚の画像と1つのテキスト、または複数枚の画像と1つのテキストを条件として与えることで、一貫性があり意味のある結果が得られている。
• LAION-2B や COYO といった大規模データセットでの学習により、多様なモダリティとタスクにわたる安定した性能が得られ、4フローでの学習でも安定した損失曲線が観察された。
• 強力な性能を発揮している一方で、特に長文や複雑な文における制限から、テキスト生成タスクで限界が見られた。これは、Optimus VAE の潜在表現に起因する。
• 繰り返しや冗長なテキスト生成が観察された。これは、現在のテキスト VAE が語順や系列モデリングに苦労しており、より優れたテキスト潜在空間の設計が求められることを示唆している。