[論文レビュー] Scaling up GANs for Text-to-Image Synthesis

Minguk Kang, Jun-Yan Zhu+5 more|arXiv (Cornell University)|Mar 9, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

この論文では、大規模なテキスト-to-画像生成における訓練の安定性を高めることで、最先端の推論速度と高解像度画像合成を達成するスケーラブルな GAN アーキテクチャ、GigaGAN を紹介する。512px の画像生成に 0.13 秒、16MP の画像生成に 3.66 秒を要し、高度な潜在空間編集を可能にし、FID スコアがわずかに低いものの、推論速度と制御性において拡散モデルを上回る性能を発揮する。

ABSTRACT

The recent success of text-to-image synthesis has taken the world by storm and captured the general public's imagination. From a technical standpoint, it also marked a drastic change in the favored architecture to design generative image models. GANs used to be the de facto choice, with techniques like StyleGAN. With DALL-E 2, auto-regressive and diffusion models became the new standard for large-scale generative models overnight. This rapid shift raises a fundamental question: can we scale up GANs to benefit from large datasets like LAION? We find that naÏvely increasing the capacity of the StyleGAN architecture quickly becomes unstable. We introduce GigaGAN, a new GAN architecture that far exceeds this limit, demonstrating GANs as a viable option for text-to-image synthesis. GigaGAN offers three major advantages. First, it is orders of magnitude faster at inference time, taking only 0.13 seconds to synthesize a 512px image. Second, it can synthesize high-resolution images, for example, 16-megapixel pixels in 3.66 seconds. Finally, GigaGAN supports various latent space editing applications such as latent interpolation, style mixing, and vector arithmetic operations.

研究の動機と目的

• GAN が、拡散モデルや自己回帰モデルと同等の性能を発揮する大規模なテキスト-to-画像合成にスケーリング可能かどうかを調査すること。
• LAION2B-en などの多様なデータセット上で大規模 GAN の訓練不安定性を克服するため、アーキテクチャ的および訓練技術的革新を導入すること。
• 高速かつ高解像度の画像生成に加え、スタイルミキシングやプロンプト補間といった潜在空間編集を可能にする、制御可能な画像生成を実現すること。
• 拡散パイプラインにおける画像品質とアライメントを向上させる、即挿し可能な GAN ベースのアップサンプラーを開発すること。
• 拡散モデルや自己回帰モデルの優位性が著しい中でも、GAN が大規模な生成モデルとして依然として有効であるかどうかを示すこと。

提案手法

• 能力スケーリングを効果的に行いながらも訓練安定性を維持できるフィルターバンクベースのジェネレータアーキテクチャを導入する。
• 畳み込みブロック内に交互に自己注意とクロス注意層を配置することで、画像-テキストアライメントと特徴表現を向上させる。
• 周波数帯域の低周波成分の学習を強化し、画像-テキストアライメントを改善するマルチスケール訓練方式を採用する。
• 2段階の生成パイプラインを採用：まず 64×64 画像を生成し、次にテキスト条件付き GAN ベースのアップサンプラーで 512×512 に拡大する。
• スケールアップされた GAN 訓練の安定化に寄与する、スキップ接続や正規化といった拡散モデル由来の技術を適用する。
• 制御可能な画像操作を可能にするために、分離されたテキスト埋め込み（t）とスタイルコード（w）を持つ分離潜在空間を活用する。

実験結果

リサーチクエスチョン

• RQ1 大規模なテキスト-to-画像生成に向け、パラメータ数が数十億に達する GAN を、訓練安定性を損なわずにスケーリング可能かどうか？
• RQ2 LAION2B-en のような多様なデータセット上で大規模 GAN の訓練を安定化させるために、どのようなアーキテクチャ的および訓練的変更が必要か？
• RQ3 推論速度、画像品質、制御性という観点から、スケーリングされた GAN の性能は、拡散モデルや自己回帰モデルと比べてどの程度か？
• RQ4 GAN ベースのアップサンプラーは、拡散ベースのパイプラインにおける高品質でテキスト条件付きのスーパーサンプリングモジュールとして効果的に機能するか？
• RQ5 大規模 GAN において、スタイルミキシングやプロンプト補間といった潜在空間編集技術は、どの程度維持・強化可能か？

主な発見

• GigaGAN は COCO2014 でゼロショット FID 9.09 を達成し、パラメータ数が少ないにもかかわらず、DALL·E 2 や Parti-750M を上回る FID スコアを記録した。
• 512px 画像の生成にわずか 0.13 秒で完了し、自己回帰モデルや拡散モデルと比べて桁違いの高速な推論を実現した。
• GigaGAN は 16-megapixel 画像を 3.66 秒で合成し、超高解像度生成の能力を示した。
• GAN ベースのアップサンプラーは 8× スーパーサンプリングで優れた性能を発揮し、テキスト条件付き（SD Upscaler）および無条件（Real-ESRGAN）のベースラインを FID、CLIP スコア、LPIPS のすべての指標で上回った。
• スタイルミキシング、プロンプト補間、ベクトル演算といった高度な潜在空間操作をサポートし、分離された W 空間における制御性を維持した。
• 最先端モデルに比べ FID スコアがわずかに低いものの、GigaGAN は訓練安定性と高い推論効率を備えた数十億パラメータの GAN をスケーリング可能であることを示した。