[論文レビュー] DiffusionCLIP: Text-guided Image Manipulation Using Diffusion Models

Gwanghyun Kim, Jong Chul Ye|arXiv (Cornell University)|Sep 29, 2021

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 30

ひとこと要約

本稿では、拡散モデルとCLIP損失を活用し、追加のエンコーダーを必要とせずに高忠実度で逆方向再構成に強い画像編集が可能な、テキスト誘導型画像操作フレームワークであるDiffusionCLIPを紹介する。この手法は最先端のGANベースの手法と同等の性能を達成し、未学習ドメインにおけるゼロショットドメイン変換や未学習ドメインでのストローク条件付き生成といった新しい応用を可能にする。

ABSTRACT

Diffusion models are recent generative models that have shown great success in image generation with the state-of-the-art performance. However, only a few researches have been conducted for image manipulation with diffusion models. Here, we present a novel DiffusionCLIP which performs text-driven image manipulation with diffusion models using Contrastive Language-Image Pre-training (CLIP) loss. Our method has a performance comparable to that of the modern GAN-based image processing methods for in and out-of-domain image processing tasks, with the advantage of almost perfect inversion even without additional encoders or optimization. Furthermore, our method can be easily used for various novel applications, enabling image translation from an unseen domain to another unseen domain or stroke-conditioned image generation in an unseen domain, etc. Finally, we present a novel multiple attribute control with DiffusionCLIPby combining multiple fine-tuned diffusion models.

研究の動機と目的

• この分野における先行研究が限られていることに対応し、拡散モデルを用いたテキスト誘導型画像操作を可能にすること。
• 専用のエンコーダーや最適化を必要とせず、ほぼ完璧な逆方向再構成を実現する高忠実度の画像編集を達成すること。
• 未学習ドメイン間でのゼロショット画像翻訳やストローク条件付き生成といった新しい応用をサポートすること。
• 複数の微調整済み拡散モデルを組み合わせることで、複雑な編集タスクにおける複数属性制御を可能にすること。

提案手法

• 拡散サンプリング中にテキストプロンプトと画像特徴を一致させるために、対照的言語・画像事前学習（CLIP）損失を活用する。
• 追加のエンコーダーを必要とせず、画像生成と編集の基盤として事前学習済みの拡散モデルを採用する。
• CLIPに基づく対照的損失を用いて、ノイズスケジュールと潜在空間を最適化することで、テキスト誘導型画像操作を実現する。
• 未学習ドメインを表すテキストプロンプトを条件として与えることで、拡散プロセスを条件づけ、ゼロショットドメイン変換を可能にする。
• 拡散プロセスにスパースな空間的条件信号を組み込むことで、ストローク条件付き画像生成をサポートする。
• 複数の微調整済み拡散モデルを組み合わせることで、画像編集における複数属性制御を実現する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、追加のエンコーダーを必要とせず、GANベースの手法と同等の高忠実度のテキスト誘導型画像操作を達成できるか？
• RQ2 DiffusionCLIPは、明示的な最適化やエンコーダーを必要とせず、画像の完全な逆方向再構成をどの程度達成できるか？
• RQ3 この手法は、学習データを超えた未学習ドメイン間でのゼロショット画像翻訳に一般化できるか？
• RQ4 未学習ドメインにおけるストローク条件付き生成といった新しい編集パラダイムをサポートできるか？
• RQ5 複数の微調整済み拡散モデルを組み合わせることで、複数属性制御はどの程度効果的に実現できるか？

主な発見

• DiffusionCLIPは、ドメイン内およびドメイン外の両方の画像操作タスクにおいて、現代のGANベースの画像処理手法と同等の性能を達成している。
• 本手法は、追加のエンコーダーや最適化ステップを必要とせず、ほぼ完全な画像逆方向再構成を実現している。
• 未学習ドメイン間でのゼロショット画像翻訳をサポートしており、学習データを超えた一般化能力を示している。
• フレームワークは、未学習ドメインにおけるストローク条件付き画像生成を可能にし、インタラクティブ編集への応用範囲を拡大している。
• 微調整済みの複数の拡散モデルを組み合わせることで、複数の制約を満たす複雑な編集が効果的に実現されている。
• CLIP損失の使用により、テキストプロンプトと生成画像の内容との強い整合性が確保され、編集の忠実度が向上している。