[論文レビュー] Conditional Score Guidance for Text-Driven Image-to-Image Translation

Hyun‐Soo Lee, Minsoo Kang+1 more|arXiv (Cornell University)|May 29, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、事前学習済みのテキストから画像への拡散モデルを用いたテキスト駆動型画像間翻訳に、学習不要の条件付きスコアガイダンス手法を提案する。新たな条件付きスコア関数を導出し、ソース画像とソーステキストの両方を組み込むとともに、クロスアテンションミックスアップ技術を採用することで、関連のない背景コンテンツを保持したまま特定の画像領域の高精細編集を可能にし、従来手法に比べて構造的整合性と編集の一貫性で優れる。

ABSTRACT

We present a novel algorithm for text-driven image-to-image translation based on a pretrained text-to-image diffusion model. Our method aims to generate a target image by selectively editing the regions of interest in a source image, defined by a modifying text, while preserving the remaining parts. In contrast to existing techniques that solely rely on a target prompt, we introduce a new score function that additionally considers both the source image and the source text prompt, tailored to address specific translation tasks. To this end, we derive the conditional score function in a principled manner, decomposing it into the standard score and a guiding term for target image generation. For the gradient computation of the guiding term, we assume a Gaussian distribution of the posterior distribution and estimate its mean and variance to adjust the gradient without additional training. In addition, to improve the quality of the conditional score guidance, we incorporate a simple yet effective mixup technique, which combines two cross-attention maps derived from the source and target latents. This strategy is effective for promoting a desirable fusion of the invariant parts in the source image and the edited regions aligned with the target prompt, leading to high-fidelity target image generation. Through comprehensive experiments, we demonstrate that our approach achieves outstanding image-to-image translation performance on various tasks.

研究の動機と目的

• テキストから画像への拡散モデルが画像間翻訳を実行する際の制御性の欠如を解消すること。
• 変更テキストに基づいて特定の画像領域を正確に編集しつつ、画像の残りの部分を保持すること。
• ソース画像とソーステキストのコンテキストを用いて、学習を伴わない方法で拡散サンプリングにおけるガイダンスを向上させること。
• ソースとターゲットの潜在表現を融合する新しいクロスアテンションミックスアップ戦略により、生成品質を向上させること。
• 翻訳前後における画像同士の対関係の保存状態を評価するための新しい指標を導入すること。

提案手法

• ターゲットテキストに条件づけられた標準スコアに加え、ターゲット潜在変数とターゲットプロンプトが与えられたもとでのソース潜在変数の事後分布に基づくガイダンス項を組み合わせた条件付きスコア関数を導出する。
• 事後分布をガウス分布としてモデル化し、追加の学習を伴わずに平均と分散を推定することでガイダンス勾配を計算する。
• 各ノイズ除去ステップで、ソース潜在変数とターゲット潜在変数のクロスアテンションマップを適応的にブレンドするクロスアテンションミックスアップ技術を導入する。
• DDIMサンプリング中に条件付きスコアガイダンスを適用し、目的の編集に向かって拡散プロセスを誘導しつつ、構造的一致性を維持する。
• テキストプロンプトにはCLIPエンコーディングを、事前学習済みの拡散モデル（例：Stable Diffusion）の潜在空間表現を用いる。
• 背景マスクを用いてガウス事後分布の共分散行列を推定し、ガイダンスを関連する画像領域に集中させる。

実験結果

リサーチクエスチョン

• RQ1 ソース画像とソーステキストの両方を組み込んだ条件付きスコア関数は、テキスト駆動型画像間翻訳における制御性を向上させることができるか？
• RQ2 ソース潜在変数のガウス事後分布に基づく提案されたガイダンス項は、微調整なしに編集忠実度を向上させることができるか？
• RQ3 クロスアテンションミックスアップは、生成画像における不変背景と編集領域の融合をどの程度向上させるか？
• RQ4 従来の学習不要および微調整済み手法と比較して、本手法はソース画像とターゲット画像間の構造的関係をどの程度保存できるか？
• RQ5 画像対間の関係性の保存状態を測定する新しい指標は、翻訳忠実度を効果的に評価できるか？

主な発見

• 提案手法CSGは、全評価タスクにおいて、SD（構造的整合性）とRD（領域別編集一貫性）の両面で最高の性能を達成し、DDIM や Prompt-to-Prompt といったベースラインを上回る。
• LAION 5B データセットにおいて、CSGは「dog → cat」タスクでSD = 0.0150、RD = 0.0192を達成し、DDIM（SD: 0.0748、RD: 0.4608）と比べ顕著に優れている。
• アブレーションスタディの結果、条件付きスコアガイダンスとクロスアテンションミックスアップの両方が性能向上に寄与しており、特にミックスアップがCSGに適用されない場合に比べて明確な改善が得られている。
• 定性的な結果から、CSGは背景構造を保持しつつ、ターゲットオブジェクト（例：ネコからイヌ）の編集に成功しているのに対し、他の手法は画像全体を変更してしまう。
• Pix2Pix-Zero よりも効率的であり、ノイズネットを介したバックプロパゲーションを回避しているため、メモリ使用量と推論時間を削減できる。
• 対関係性の忠実度を測る新しい指標の結果、CSGは従来手法ですでにCLIPスコア（CS）が低い場合でも、構造的一致性をよりよく維持していることが示された。