[論文レビュー] GALIP: Generative Adversarial CLIPs for Text-to-Image Synthesis

Tao Ming, Bing‐Kun Bao+2 more|arXiv (Cornell University)|Jan 30, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

GALIPは、生成器と判別器の両方でCLIPモデルを活用するテキスト-to-画像生成フレームワークを提案する。これにより、高精細で高速かつ制御性の高い画像合成が実現される。CLIPベースの判別器とCLIP強化生成器を統合することで、大規模な自己回帰的・拡散モデルの3%の学習データと6%のパラメータで、最先端の性能を達成。また、推論速度は120倍高速化され、潜在空間の制御性も滑らかになる。

ABSTRACT

Synthesizing high-fidelity complex images from text is challenging. Based on large pretraining, the autoregressive and diffusion models can synthesize photo-realistic images. Although these large models have shown notable progress, there remain three flaws. 1) These models require tremendous training data and parameters to achieve good performance. 2) The multi-step generation design slows the image synthesis process heavily. 3) The synthesized visual features are difficult to control and require delicately designed prompts. To enable high-quality, efficient, fast, and controllable text-to-image synthesis, we propose Generative Adversarial CLIPs, namely GALIP. GALIP leverages the powerful pretrained CLIP model both in the discriminator and generator. Specifically, we propose a CLIP-based discriminator. The complex scene understanding ability of CLIP enables the discriminator to accurately assess the image quality. Furthermore, we propose a CLIP-empowered generator that induces the visual concepts from CLIP through bridge features and prompts. The CLIP-integrated generator and discriminator boost training efficiency, and as a result, our model only requires about 3% training data and 6% learnable parameters, achieving comparable results to large pretrained autoregressive and diffusion models. Moreover, our model achieves 120 times faster synthesis speed and inherits the smooth latent space from GAN. The extensive experimental results demonstrate the excellent performance of our GALIP. Code is available at https://github.com/tobran/GALIP.

研究の動機と目的

• テキスト-to-画像合成における大規模自己回帰的・拡散モデルの高い計算コスト、遅い推論速度、制御性の低さを解決すること。
• CLIPの事前学習済みの視覚的理解力とドメイン一般化能力を活用し、画像生成の効率性と品質を向上させること。
• GANフレームワークにおいて生成器と判別器の両方にCLIPを統合することで、高速で制御可能かつ高精細な画像合成を実現すること。
• パラメータとデータの要件を削減しながら、大規模モデルと同等の性能を維持すること。
• CLIPのゼロショット転送と複雑なシーン理解の利点を活かした統一的生成フレームワークを確立すること。

提案手法

• 固定されたCLIP-ViT画像エンコーダと学習可能なメートル・ディスクライマ（Mate-D）を用いたCLIPベースの判別器を提案。マルチレイヤーCLIP特徴量に基づいて画像品質を評価する。
• ブリッジ特徴量とプロンプトを用いてCLIPから視覚的コンセプトを誘導するCLIP強化生成器を導入。テキストとの特徴量整合性を向上させる。
• プロンプト予測器（PP）を採用し、生成をガイドするCLIP特徴量のための動的プロンプトを生成。特徴量の関連性を向上させる。
• 判別器にCLIP-ViTの初期およびミッドレベルのレイヤー（第2、第5、第9）を用い、詳細な視覚的理解を保持。後段のレイヤーでの一般化を回避する。
• 生成器と判別器を敵対的損失を用いてエンドツーエンドに訓練。両コンponentの監視信号としてCLIP特徴量を活用。
• ブリッジ特徴量予測（BFP）を適用し、生成画像をCLIP埋め込みテキストおよび視覚的特徴量と一致させる。忠実度と整合性を向上させる。

Figure 1: (a) Existing text-to-image GANs conduct adversarial training from scratch. (b) Our proposed GALIP conducts adversarial training based on the integrated CLIP model.

実験結果

リサーチクエスチョン

• RQ1 生成器と判別器の両方にCLIPを統合することで、データおよびパラメータ要件を削減しつつ、テキスト-to-画像合成の品質を向上させられるか？
• RQ2 CLIPの複雑なシーン理解能力が、実画像と生成画像を区別する判別器の性能にどのように寄与するか？
• RQ3 CLIPのドメイン一般化能力が、画像生成におけるゼロショット転送と制御性の向上に寄与するか？
• RQ4 CLIP特徴量を中間監視信号として用いることで、エンドツーエンドGANに比べてより高速かつ安定した学習が可能になるか？
• RQ5 判別器と生成器のコンポonentにおいて、詳細性と一般化のバランスを最適化するには、CLIP-ViTのどのレイヤーを選択すべきか？

主な発見

• GALIPはCOCOデータセットでFID 5.85を達成。ベースラインGAN（FID: 17.31）を上回り、大規模モデルと同等の最先端性能を、はるかに少ないリソースで実現。
• CLIPベースの判別器により、FIDは17.31から7.92に低下し、CLIPSIMは0.2996から0.3221に上昇。画像品質と整合性の向上を実証。
• ブリッジ特徴量予測（Bridge-FP）を備えたCLIP強化生成器により、FIDは6.52に低下、CLIPSIMは0.3301に上昇。CLIPからの特徴量誘導が効果的であることを示す。
• プロンプト予測器（PP）により、FIDは5.85に低下、CLIPSIMは0.3338に上昇。動的プロンプトチューニングが特徴量の関連性を向上させることを証明。
• GALIPは、1枚あたり0.04秒の高速推論（0.04s per image）を実現。Latent Diffusion Models（LDM）と比較して約120倍高速。1200万枚の学習画像と3億2000万パラメータで運用。
• 大規模モデルの学習データの3%と可学習パラメータの6%のみを用いても、ゼロショットFIDおよびCLIPSIMの指標で、それらと同等または上回る性能を達成。

Figure 2: Comparing with Latent Diffusion Models (LDM) [ 35 ] , our GALIP achieves comparable zero-shot Fréchet Inception Distance (ZS-FID) with measly 320M parameters (0.08B trainable parameters + 0.24B frozen CLIP parameters) and 12M training data. Furthermore, our GALIP only requires 0.04s to syn