[論文レビュー] RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model

Fengxiang Bie, Yibo Yang+11 more|arXiv (Cornell University)|Sep 2, 2023

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

TTI品質と将来の方向性に影響を与える大規模モデルとCLIPのようなマルチモーダルエンコーダの影響を強調するGAN、VAE、拡散モデルに跨るテキストから画像生成法の総合調査。

ABSTRACT

Text-to-image generation (TTI) refers to the usage of models that could process text input and generate high fidelity images based on text descriptions. Text-to-image generation using neural networks could be traced back to the emergence of Generative Adversial Network (GAN), followed by the autoregressive Transformer. Diffusion models are one prominent type of generative model used for the generation of images through the systematic introduction of noises with repeating steps. As an effect of the impressive results of diffusion models on image synthesis, it has been cemented as the major image decoder used by text-to-image models and brought text-to-image generation to the forefront of machine-learning (ML) research. In the era of large models, scaling up model size and the integration with large language models have further improved the performance of TTI models, resulting the generation result nearly indistinguishable from real-world images, revolutionizing the way we retrieval images. Our explorative study has incentivised us to think that there are further ways of scaling text-to-image models with the combination of innovative model architectures and prediction enhancement techniques. We have divided the work of this survey into five main sections wherein we detail the frameworks of major literature in order to delve into the different types of text-to-image generation methods. Following this we provide a detailed comparison and critique of these methods and offer possible pathways of improvement for future work. In the future work, we argue that TTI development could yield impressive productivity improvements for creation, particularly in the context of the AIGC era, and could be extended to more complex tasks such as video generation and 3D generation.

研究の動機と目的

• テキストから画像（TTI）モデルの重要成分を紹介する。生成モデル、言語モデル、視覚モデルを含む。
• 大規模モデルの影響下でのTTIモデルタイプ（GAN、VAE、拡散）を調査する。
• 視覚的および統計的結果を用いて横断比較を行い、長所と短所を評価する。
• 動画および3D生成への拡張を含む制限事項を議論し、将来の方向性を概説する。

提案手法

• GANベースの手法から拡散と大規模モデル強化手法へのTTIの進化を調査する。
• VAE、GAN、拡散ベースTTIモデルのコアアーキテクチャと学習目的を要約する。
• 生成画像を導く上での大規模言語モデルと視覚言語エンコーダ（例：CLIP）の役割を説明する。
• モデルタイプを定性的（画像）および定量的（統計）基準で比較し、トレードオフを議論する。
• マルチモーダルおよびマルチタスク学習がTTIの性能と効率に与える影響を強調する。

実験結果

リサーチクエスチョン

• RQ1 GAN、VAE、拡散ファミリー全体でTTIモデルを推進する主要なアーキテクチャと成分は何か。
• RQ2 大規模モデルとマルチモーダルエンコーダ（CLIPなど）はTTIの品質、効率性、汎用性にどのように影響したか。
• RQ3 テキストから画像生成のためのGAN、自己回帰、拡散アプローチの長所と限界は何か。
• RQ4 将来のTTI研究に向けて、動画や3D生成などのディレクションと拡張性はどのようなものが有望か。

主な発見

• 拡散モデルは高忠実度TTI生成の有力な選択肢となっている。
• 大規模モデルとマルチモーダルエンコーダはTTIの性能と能力を大幅に向上させる。
• 単一のモデルタイプが絶対的な優位を持つわけではなく、それぞれのアーキテクチャは品質、効率、スケーラビリティにおいて独自のトレードオフを提供する。
• CLIPと言語-視覚およびマルチモーダル学習は現代TTIシステムとゼロショット能力の基盤となっている。
• 本調査は横断比較（視覚的および統計的）を統合し、利点と欠点を議論して今後の作業を導く。
• 今後の作業では、動画や3D生成などの複雑なタスクへのTTI技法の拡張を見据えている。