[論文レビュー] Zero-shot Image-to-Image Translation

Gaurav Parmar, Krishna Kumar Singh+4 more|arXiv (Cornell University)|Feb 6, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

本稿では、事前学習済みテキストから画像への拡散モデルを用いて、微調整や手動プロンプトを一切不要とすることで、リアルな画像のゼロショット編集を可能にする、トレーニング不要・プロンプト不要の画像対画像翻訳手法である pix2pix-zero を提案する。CLIP埋め込み空間における編集方向を自動で発見し、入力の構造を保持するためのクロスアテンションガイドラインを適用することで、微fine-tuning や手動プロンプトなしで、コンテンツの保持と写真的リアリズムの両面で最先端の性能を達成する。

ABSTRACT

Large-scale text-to-image generative models have shown their remarkable ability to synthesize diverse and high-quality images. However, it is still challenging to directly apply these models for editing real images for two reasons. First, it is hard for users to come up with a perfect text prompt that accurately describes every visual detail in the input image. Second, while existing models can introduce desirable changes in certain regions, they often dramatically alter the input content and introduce unexpected changes in unwanted regions. In this work, we propose pix2pix-zero, an image-to-image translation method that can preserve the content of the original image without manual prompting. We first automatically discover editing directions that reflect desired edits in the text embedding space. To preserve the general content structure after editing, we further propose cross-attention guidance, which aims to retain the cross-attention maps of the input image throughout the diffusion process. In addition, our method does not need additional training for these edits and can directly use the existing pre-trained text-to-image diffusion model. We conduct extensive experiments and show that our method outperforms existing and concurrent works for both real and synthetic image editing.

研究の動機と目的

• 事前学習済みテキストから画像への拡散モデルを用いたリアルな画像編集の課題に取り組む。これらのモデルはしばしば手動プロンプトが煩雑で、入力の構造を保持できないことが多い。
• 画像対画像翻訳において、タスク固有の微fine-tuning や画像固有のテキストプロンプトの必要性を排除する。
• レイアウト、オブジェクトのポーズ、背景の詳細を保持しながら、多様なリアルおよび合成画像のゼロショット編集を可能にする。
• 追加のトレーニングや高コストなインバージョン処理を伴わずに、既存の事前学習済みモデルを活用する手法を開発する。

提案手法

• ソースドメイン用語とターゲットドメイン用語（例：'cat' 対 'dog'）の文の埋め込みの平均差分を計算することで、CLIP埋め込み空間における編集方向を自動で発見する。
• 自己相関正則化を用いた決定論的DDIMインバージョンを用い、ノイズがガウス分布に近づくように保証することで、インバージョンの品質と安定性を向上させる。
• 拡散サンプリング中にクロスアテンションガイドラインを適用し、入力画像のクロスアテンションマップを維持することで、構造的一致性を保つ。
• 微fine-tuning を行わず、事前学習済みテキストから画像への拡散モデルを直接利用することで、新しい編集タスクへのゼロショット適応を可能にする。
• ペアドされた実画像と編集済み画像データを用いて、高精細な拡散モデル出力を高速な条件付きGANに蒸留することで、リアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 各入力画像に対して手動プロンプトを必要とせず、CLIP埋め込み空間で編集方向を自動で発見できるか？
• RQ2 拡散中におけるクロスアテンションマップの一貫性は、編集中に入力画像の構造的レイアウトを保持できるか？
• RQ3 トレーニング不要・プロンプト不要な手法が、既存のゼロショットおよび微fine-tuning手法と比較して、優れたコンテンツ保持性と写真的リアリズムを達成できるか？
• RQ4 文ベースの編集方向発見とクロスアテンションガイドラインの組み合わせは、オブジェクトのポーズと背景の忠実度を維持するためにどれほど効果的か？

主な発見

• 提案手法は、最高のCLIP-Accuracy（0.87）を達成するとともに、最低の構造距離（0.04）とBG LPIPS（0.05）を維持しており、優れた編集の一貫性とコンテンツ保持性を示している。
• クロスアテンションガイドラインの導入により、構造的保持性が顕著に向上し、このコンponentsを欠如させたアブレーションバージョンと比較して、構造的歪みと背景エラーが低減している。
• SDEdit や DDIM + word swap と比較して、特にオブジェクト交換やスタイル転送といった複雑な編集タスクにおいて、写真的リアリズムとコンテンツ保持性の両面で優れている。
• 条件付きGANへの蒸留により、推論速度が約3,800倍向上し、一般消費者用ハードウェアでもリアルタイム編集が可能になった。
• 本手法は、オブジェクト交換（cat → dog）、属性編集（メガネの追加）、スタイル転送（スケッチ → オイルパステル）を含む、多様なリアルおよび合成画像に対して、強力に耐性を示している。