[論文レビュー] Hierarchical Text-Conditional Image Generation with CLIP Latents

Aditya Ramesh, Prafulla Dhariwal+3 more|arXiv (Cornell University)|Apr 13, 2022

Generative Adversarial Networks and Image Synthesis被引用数 2,265

ひとこと要約

本論文は unCLIP を提案する。キャプションから事前分布（自己回帰または拡散）を用いて CLIP 画像埋め込みを生成し、次にその埋め込みから拡散モデルで画像をデコードする二段階のテキスト-to-画像システムで、GLIDE に同等のフォトリアリズムと比較して多様性を高める。さらに CLIP 潜在空間で画像操作を可能にし、効率性のための拡散事前分布を示す。

ABSTRACT

Contrastive models like CLIP have been shown to learn robust representations of images that capture both semantics and style. To leverage these representations for image generation, we propose a two-stage model: a prior that generates a CLIP image embedding given a text caption, and a decoder that generates an image conditioned on the image embedding. We show that explicitly generating image representations improves image diversity with minimal loss in photorealism and caption similarity. Our decoders conditioned on image representations can also produce variations of an image that preserve both its semantics and style, while varying the non-essential details absent from the image representation. Moreover, the joint embedding space of CLIP enables language-guided image manipulations in a zero-shot fashion. We use diffusion models for the decoder and experiment with both autoregressive and diffusion models for the prior, finding that the latter are computationally more efficient and produce higher-quality samples.

研究の動機と目的

• CLIP 表現を活用して、キャプションから埋め込みへの事前分布と埋め込みから画像デコードを分離する階層的なテキスト-to-画像生成器を構築する。
• 拡散ベースのデコードと事前分布を組み込み、多様性・効率性・高解像度生成を改善する。
• CLIP空間での画像変化、補間、言語ガイド（テキスト-diff）による画像操作などの能力を探る。
• 多様性、リアリズム、キャプション整合性で既存のテキスト-to-画像モデルと比較評価し、ゼロショット MS-COCO パフォーマンスを含む。

提案手法

• CLIP画像エンコーダを反転させて、埋め込みをCLIP画像および（オプションで）テキスト埋め込みを条件に画像へ写像するデコーダ拡散モデルを訓練する。
• キャプション y から CLIP画像埋め込み z_i を生成する事前モデルを訓練する。AR（自動回帰）または分類器なしガイダンスを用いた拡散事前を使用する。
• AR事前の場合、z_iをPCA（319成分）で圧縮し、1024バケツに量子化し、yと z_t を条件にトークン列を予測するトランスフォーマーでモデリングする。
• 拡散事前の場合、連続的な z_i を y（および任意で z_t）を条件に拡散モデルでモデリングし、ノイズを除去した z_i を直接予測する。
• 訓練を安定化させるため、ターゲット劣化とランダムクロップを用いて64→256→1024 解像度の画像を生成する2つの拡散アップサンプラーを訓練する。
• サンプリング時にガイダンスを有効化して、分類器なしガイダンスと条件ドロップアウトを用いて、多様性を崩さず忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 CLIP潜在空間は、拡散デコーダを用いたテキスト-to-画像生成の中間表現として効果的に使用できるだろうか？
• RQ2 キャプションからCLIP埋め込みを生成する際、拡散事前はAR事前より効率とサンプル品質が良いのか？
• RQ3 CLIP埋め込みで条件付けすることと、テキストプロンプトのみで条件付けすることのフォトリアリズム、キャプション類似性、多様性への影響は？
• RQ4 ゼロショットMS-COCOのFIDとヒューマン判定で、unCLIPとGLIDEは忠実度、キャプション整合、多様性の観点でどう比較されるか？
• RQ5 CLIP潜在空間から生じる操作能力は、変種、補間、テキスト指示付き編集などどのようなものか？

主な発見

• 2段階の unCLIP モデルは、テキストプロンプトに駆動された多様でフォトリアリスティックな画像を生成でき、拡散事前は自己回帰事前より品質が高く計算コストが低い。
• 拡散事前は、同等のモデルサイズと訓練計算量で、テキスト-to-画像生成においてAR事前を上回る。
• 拡散事前を用いる場合、ゼロショットで MS-COCO 256×256 FID 10.39 という最先端を達成し、多くの同時期手法を上回る。
• 人間評価では、フォトリアリズムでGLIDEと概ね競合し、多様性はより高く、キャプション類似性ではGLIDEが時に上回る。
• デコード時のガイダンスは、GLIDEと unCLIP の美的品質を向上させる一方、ガイディングサンプリング下では unCLIP が GLIDE より多様性をより良く保持する。