[論文レビュー] StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis

Axel Sauer, Tero Karras+3 more|arXiv (Cornell University)|Jan 23, 2023

Generative Adversarial Networks and Image Synthesis被引用数 61

ひとこと要約

StyleGAN-T は StyleGAN-XL を大規模なテキストから画像生成へ適応させ、単一パス推論を高速化（画像1枚あたり約0.1秒）し、強いテキスト整列と低解像度での競争力のある品質を実現し、拡散モデルに対するこの領域での GAN ベースの性能を先駆ける。

ABSTRACT

Text-to-image synthesis has recently seen significant progress thanks to large pretrained language models, large-scale training data, and the introduction of scalable model families such as diffusion and autoregressive models. However, the best-performing models require iterative evaluation to generate a single sample. In contrast, generative adversarial networks (GANs) only need a single forward pass. They are thus much faster, but they currently remain far behind the state-of-the-art in large-scale text-to-image synthesis. This paper aims to identify the necessary steps to regain competitiveness. Our proposed model, StyleGAN-T, addresses the specific requirements of large-scale text-to-image synthesis, such as large capacity, stable training on diverse datasets, strong text alignment, and controllable variation vs. text alignment tradeoff. StyleGAN-T significantly improves over previous GANs and outperforms distilled diffusion models - the previous state-of-the-art in fast text-to-image synthesis - in terms of sample quality and speed.

研究の動機と目的

• 非常に大規模なデータセットでの高速でスケーラブルなテキストから画像合成の必要性を動機づける。
• テキスト条件付き合成のためにジェネレーターとディスクリミネーターを再設計してGANの競争力を高める。
• 一定の計算予算内で多様な画像出力を維持しつつテキスト整列を改善する。
• テキスト条件付けに対する制御可能な変動と実用的な潜在空間操作を可能にする。

提案手法

• StyleGAN-XL に触発されたベースアーキテクチャで、非同等の StyleGAN2風のジェネレーター・バックボーンを持つ。
• 訓練を安定化させるために GroupNorm と Layer Scale を備えた残差ブロックを用いてジェネレーター容量を拡張する。
• マッピングネットワークを迂回して2次のスタイル相互作用 s = s1 ⊗ s2 + s3 を用いることでテキスト条件付けを強化する。
• Differentiable augmentations を用いた5つの並列ヘッドを持つ ViT-S バックボーンを用いてディスクリミネーターを再設計する。
• 訓練時に CLIP 基づくガイダンスを取り入れてテキストプロンプトと画像を整合させる（L_CLIP）ように慎重にウェイト付けする。
• 推論時には per-prompt mean w̄ に向かって段階的に動くことで w = [f(z), c_text] の切り詰めを実装し、テキスト整合をさらに改善するための2段階のテキストエンコーダ戦略を採用する。）

実験結果

リサーチクエスチョン

• RQ1 実用的な予算で大規模なテキストから画像生成を拡散モデルに競合させられるGANを作れるか？
• RQ2 GANベースのT2Iで強いテキスト整列と制御可能な変動を生み出すジェネレーター/ディスクリミネーター設計の選択肢は何か？
• RQ3 CLIP ガイダンス損失と切り詰めがGANsの画像忠実度とテキスト整列にどう影響するか？
• RQ4 テキストエンコーダ訓練とジェネレーター訓練の訓練段階戦略が CLIP 整合性と FID に与える影響は？

主な発見

• StyleGAN-T は 64x64 でのゼロショット MS COCO FID を大幅に改善し、256x256 で従来の GAN ベース手法が達成した FID を半分にする一方で高速な推論を実現。
• 再設計されたジェネレーターとディスクリミネーターは、軽量設定で StyleGAN-XL のベースラインより約10%の FID と CLIP スコアを改善する。
• 五つのヘッドを持つディスクリミネーターと DINO/Large ViT-S フィーチャー・バックボーン、差分可能なアウグメンテーションは従来のディスクリミネーター設計より約40%の FID と CLIP の向上をもたらす。
• CLIP ガイダンスは FID/CLIP 指標でテキスト整列を約20%向上させ、切り詰めはテキスト整列をさらに高めるが、過度のガイダンスは忠実度を損なう可能性。
• 二段階のテキストエンコーダ戦略で訓練すると、artifact 無く非常に高い CLIP ガイダンスウェイトを可能にし、FID を損なうことなくテキスト整列を大幅に高める。
• 大規模スケールでは StyleGAN-T は約 1B パラメータに達し、250M の画像-テキストペアで 4 週間予算で 64 A100 GPU で訓練される；0.1s/画像の推論を実現。