[論文レビュー] Region-Aware Diffusion for Zero-shot Text-driven Image Editing

Nisha Huang, Fan Tang+3 more|arXiv (Cornell University)|Feb 23, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本論文は、自然言語プロンプトに基づいて画像内の特定のエンティティを自動的に特定して置き換える、ゼロショットでテキスト駆動の画像編集が可能な領域認識拡散モデル（RDM）を提案する。潜在空間における拡散と分類子フリーのガイドランスに加え、新規のクロスモーダルエンティティキャリブレーションおよび編集しない領域の保存コンポーネントを組み合わせることで、RDMは編集されていないコンテンツを保持しながら高精細で意味的に整合性のある編集を実現し、視覚的品質、調和性、テキスト-画像整合性の面で先行手法を上回る性能を発揮する。

ABSTRACT

Image manipulation under the guidance of textual descriptions has recently received a broad range of attention. In this study, we focus on the regional editing of images with the guidance of given text prompts. Different from current mask-based image editing methods, we propose a novel region-aware diffusion model (RDM) for entity-level image editing, which could automatically locate the region of interest and replace it following given text prompts. To strike a balance between image fidelity and inference speed, we design the intensive diffusion pipeline by combing latent space diffusion and enhanced directional guidance. In addition, to preserve image content in non-edited regions, we introduce regional-aware entity editing to modify the region of interest and preserve the out-of-interest region. We validate the proposed RDM beyond the baseline methods through extensive qualitative and quantitative experiments. The results show that RDM outperforms the previous approaches in terms of visual quality, overall harmonization, non-editing region content preservation, and text-image semantic consistency. The codes are available at https://github.com/haha-lisa/RDM-Region-Aware-Diffusion-Model.

研究の動機と目的

• ユーザーが描いたマスクや領域のアノテーションを一切必要としない、ゼロショットでテキスト駆動の画像編集を可能にすること。
• テキストプロンプトのみを用いて、画像内の特定のエンティティを自動的に局所化して置き換える課題に対処すること。
• エンティティの置き換え中に編集されていない領域のコンテンツの整合性を維持すること。
• テキストプロンプトと生成された画像編集の間の意味的整合性を向上させること。

提案手法

• 事前学習済みオートエンコーダーの潜在空間で動作する領域認識拡散モデル（RDM）を提案し、推論速度を向上させるとともに計算コストを削減する。
• テキストプロンプトと関連する画像トークンを一致させることで、編集対象領域を特定するクロスモーダルエンティティキャリブレーションコンポーネントを導入する。
• 拡散プロセス中に分類子フリーのガイドランスを採用し、テキスト-画像の意味的整合性と生成品質を向上させる。
• 編集対象領域外の領域におけるコンテンツの整合性を維持する非編集領域保存（NERP）コンポーネントを統合する。
• 速度と忠実度のバランスを取るために、潜在拡散と強化された方向性ガイドランスを組み合わせたハイブリッドパイプラインを採用する。
• CLIPを用いてクロスモーダル整合性を実現し、"A → B"のようなフレーズレベルのプロンプトによる編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、ユーザーが描いたマスクを一切必要とせず、テキストプロンプトのみで画像内の特定のエンティティを自動的に局所化して編集できるか？
• RQ2 編集されていない領域のコンテンツを維持しつつ、画像の忠実度と編集品質をどのように向上させられるか？
• RQ3 分類子フリーのガイドランスは、テキストプロンプトと生成された画像編集の間の意味的整合性をどの程度向上させるか？
• RQ4 クロスモーダルエンティティキャリブレーションコンポーネントは、局所化の正確性と意味的整合性にどのような影響を及ぼすか？
• RQ5 NERPコンポーネントは、編集されていない領域におけるコンテンツ保存とアーティファクト低減にどのような影響を及えるか？

主な発見

• NERPコンポーネントを有効にした場合、RDMはLPIPSスコア0.039を達成し、コンポーネントを無効にした場合の0.143よりも顕著に低く、編集されていない領域におけるコンテンツ保存の優位性が示された。
• 人間の好み評価では、2520票の比較においてRDMが78.5％の割合で好まれ、その編集品質と現実性の高さが強く支持された。
• 定性的および定量的実験を通じて、視覚的品質、全体的な調和性、テキスト-画像意味的整合性の面で、ベースライン手法を上回ることを確認した。
• スケールs=5の分類子フリーのガイドランスは編集品質を顕著に向上させたが、これを使用しない場合の結果は著しく劣っていた。
• 編集対象が形状が著しく異なる場合（例：魚からクラゲに変更）や、CLIPが代替解釈を優先する場合（例：カップの素材変更）に失敗ケースが発生し、構造的および意味的一般化の限界が示された。
• クロスモーダルエンティティキャリブレーションコンポーネントは、中間のK値で最適な性能を示し、局所化の正確性と意味的整合性のバランスが取れている。