[論文レビュー] PFB-Diff: Progressive Feature Blending Diffusion for Text-driven Image Editing

Wenjing Huang, Shikui Tu+1 more|arXiv (Cornell University)|Jun 28, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

PFB-Diffは、事前学習済み拡散モデルにおける段階的特徴ブレンドとアテンションマスキングを用いて、最適化を伴わないテキスト駆動型画像編集のための新規な手法を提案する。深層特徴を複数スケールのレベルでブレンドし、語のアテンションを特定の領域に制限することで、微調整を必要とせず、画像の忠実度、意味的整合性、編集の正確性が向上する。

ABSTRACT

Diffusion models have showcased their remarkable capability to synthesize diverse and high-quality images, sparking interest in their application for real image editing. However, existing diffusion-based approaches for local image editing often suffer from undesired artifacts due to the pixel-level blending of the noised target images and diffusion latent variables, which lack the necessary semantics for maintaining image consistency. To address these issues, we propose PFB-Diff, a Progressive Feature Blending method for Diffusion-based image editing. Unlike previous methods, PFB-Diff seamlessly integrates text-guided generated content into the target image through multi-level feature blending. The rich semantics encoded in deep features and the progressive blending scheme from high to low levels ensure semantic coherence and high quality in edited images. Additionally, we introduce an attention masking mechanism in the cross-attention layers to confine the impact of specific words to desired regions, further improving the performance of background editing. PFB-Diff can effectively address various editing tasks, including object/background replacement and object attribute editing. Our method demonstrates its superior performance in terms of image fidelity, editing accuracy, efficiency, and faithfulness to the original image, without the need for fine-tuning or training.

研究の動機と目的

• 最適化を伴わない拡散モデルベースの画像編集における画像の不一致および画像・テキストの不整合を解消すること。
• ノイズの多い中間特徴におけるピクセルレベルのブレンドの限界を克服し、アーティファクトの発生と意味的整合性の欠如を低減すること。
• アテンションマスキングにより、テキストガイドド生成をユーザーが指定した領域に限定することで、正確で局所的な編集を可能にすること。
• 微調整を回避しつつ、事前学習済みモデルを活用することで、高い効率性と一般化性能を維持すること。
• 最小限のユーザー入力で、オブジェクト置換、背景編集、属性操作など多様な編集タスクをサポートすること。

提案手法

• マルチスケールマスクを用いて、高レベルから低レベルの深層特徴マップを段階的に編集することで、意味的整合性を確保する。
• ピクセルレベルのノイズ除去ブレンドを特徴レベルの統合に置き換え、生成コンテンツを複数レベルの特徴を介して滑らかに統合する。
• クロスアテンション層にアテンションマスキング機構を導入し、特定の語の影響を指定された領域に制限する。
• 微調整や最適化を一切行わず、凍結された事前学習済みテキストから画像への拡散モデルを用いる。
• マスクされたアテンションを介して、元の画像とテキストプロンプトの両方に条件づけることで、モデルの一般化能力を活用する。
• PFBモジュールとアテンションマスキングモジュールをベースの拡散モデルから分離することで、プラグアンドプレイのデプロイを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルのブレンドと比較して、特徴レベルの編集は、意味的整合性の向上とアーティファクトの低減に寄与するか？
• RQ2 段階的マルチスケール特徴ブレンドは、画像構造の保持と一貫性のある編集生成にどの程度効果的か？
• RQ3 アテンションマスキングは、局所化の正確性をどの程度向上させ、編集領域における不要なオブジェクト生成をどの程度低減するか？
• RQ4 微調整を伴わず最適化を伴わない手法が、画像忠実度、整合性、効率性の面で最先端の性能を達成できるか？
• RQ5 実世界の編集シナリオにおいて、粗いまたは不正確なユーザー提供マスクに対して、この手法はどの程度頑健か？

主な発見

• 背景編集タスクにおいて、PFB-Diffは最高のCLIPスコア（32.3）とローカルCLIPスコア（30.12）を達成し、ベースライン手法を上回った。
• アテンションマスキングを適用することで、元の被写体の周囲に余分な馬が生成されるのを100％低減した。
• ユーザースタディの結果、PFB-Diffは平均4段階中3.7の順位スコアを達成し、競合手法よりも顕著に高い人間の好みを示した。
• 粗いまたはマッチングの悪いマスク（例：鳥型の領域に馬を生成）でさえも、PFB-Diffは高品質で一貫性のある結果を維持した。
• PFBとアテンションマスキングを併用したPFB-DiffのFIDスコアは13.4であり、わずかにベースラインより高いが、忠実度と整合性の優れたトレードオフを示した。
• アブレーションスタディにより、PFB単体でもピクセルレベル手法に比べてブレンド品質が向上することが確認されたが、正確な局所化にはアテンションマスキングが不可欠であることが判明した。