[論文レビュー] VQGAN-CLIP: Open Domain Image Generation and Editing with Natural Language Guidance

Katherine Crowson, Stella Biderman+5 more|arXiv (Cornell University)|Apr 18, 2022

Multimodal Machine Learning Applications被引用数 30

ひとこと要約

VQGAN-CLIPは、事前に学習済みのVQGANジェネレータとCLIPを組み合わせ、追加の学習なしにテキストプロンプトからオープンドメインの画像を生成および編集します。高い視覚品質とプロンプトとの意味的整合性を実現します。

ABSTRACT

Generating and editing images from open domain text prompts is a challenging task that heretofore has required expensive and specially trained models. We demonstrate a novel methodology for both tasks which is capable of producing images of high visual quality from text prompts of significant semantic complexity without any training by using a multimodal encoder to guide image generations. We demonstrate on a variety of tasks how using CLIP [37] to guide VQGAN [11] produces higher visual quality outputs than prior, less flexible approaches like DALL-E [38], GLIDE [33] and Open-Edit [24], despite not being trained for the tasks presented. Our code is available in a public repository.

研究の動機と目的

• タスク固有の学習なしに、オープンドメインのテキスト駆動型画像生成と編集を促進する。
• 事前学習済みのマルチモーダルエンコーダを活用して画像生成と操作を導く。
• 生成と編集のタスク全体で高い視覚品質と意味的一貫性を実証する。
• 効率性の利点を示し、オープン開発の影響と普及について論じる。

提案手法

• VQGANを画像生成器として、CLIPをテキストと画像の共同エンコーダとして用い、テキストと生成画像の埋め込み間のコサイン類似度に基づく損失を定義する。
• CLIPベースの損失を用いて、勾配降下法でジェネレータの潜在表現（zベクトル）を最適化する。
• 最適化を安定化させるため、複数の拡張（クロップ、反転、カラージッター、ノイズ）を適用し、拡張ビューを平均化して損失を安定化する。
• 潜在ベクトルにL2項を用いて正則化し、整合的で簡潔な表現を促進し画像品質を向上させる。
• 初期化を変えることで生成と編集を可能にする：生成にはランダムノイズを、編集には提供された画像を用いる。
• キュー追加やマスキングなど、マルチプロンプト合成とターゲット編集を導く追加コンポーネントをオプションで拡張する。
• 他の手法と比較した人間評価で評価し、設計選択を正当化するためのアブレーションを実施する。）

実験結果

リサーチクエスチョン

• RQ1 新しいモデルを訓練せずに、オープンドメインのテキストプロンプトが高品質で意味的にも忠実な画像を生み出すことができるか？
• RQ2 CLIPガイド付き最適化は、品質と忠実度の点で監視付き生成/編集手法とどう比較されるか？
• RQ3 出力品質と意味的整合性に最も影響を与える設計選択（拡張、正則化）は何か？
• RQ4 このアプローチとトレーニングベースの手法との間で、効率と資源使用のトレードオフは何か？
• RQ5 この手法はテキストプロンプトからのオープンドメイン画像編集をどの程度サポートするか？

主な発見

• VQGAN-CLIPで生成された画像は高い視覚品質とプロンプトとの意味的整合性を達成する。
• 本手法は人間の整合性評価で、同等のオープンドメイン手法を上回る（知覚と言語の忠実性が高い）。
• 拡張は最適化を著しく安定化させ、一貫性と品質を向上させる。
• L2潜在正規化は、以前のコードブックサンプリングアプローチより画像の一貫性と詳細を改善する。
• 対象画像で初期化するだけでオープンドメイン画像編集を実現でき、訓練なしで意味的編集を可能にする。
• 標準的なGPUでスケールし、典型的な設定で1枚あたり数分で実行可能；トレーニングコストを回避できる。