[논문 리뷰] PFB-Diff: Progressive Feature Blending Diffusion for Text-driven Image Editing

Wenjing Huang, Shikui Tu외 1명|arXiv (Cornell University)|2023. 06. 28.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

PFB-Diff는 사전 훈련된 확산 모델에서 점진적 특징 블렌딩과 어텐션 마스킹을 사용하여 최적화 없이 텍스트 기반 이미지 편집을 수행하는 새로운 방법을 제안한다. 깊이 있는 특징을 다중 척도 수준에서 블렌딩하고, 단어 어텐션을 특정 영역으로 제한함으로써, 미세조정 없이도 뛰어난 이미지 정밀도, 의미 일관성 및 편집 정확도를 달성한다.

ABSTRACT

Diffusion models have showcased their remarkable capability to synthesize diverse and high-quality images, sparking interest in their application for real image editing. However, existing diffusion-based approaches for local image editing often suffer from undesired artifacts due to the pixel-level blending of the noised target images and diffusion latent variables, which lack the necessary semantics for maintaining image consistency. To address these issues, we propose PFB-Diff, a Progressive Feature Blending method for Diffusion-based image editing. Unlike previous methods, PFB-Diff seamlessly integrates text-guided generated content into the target image through multi-level feature blending. The rich semantics encoded in deep features and the progressive blending scheme from high to low levels ensure semantic coherence and high quality in edited images. Additionally, we introduce an attention masking mechanism in the cross-attention layers to confine the impact of specific words to desired regions, further improving the performance of background editing. PFB-Diff can effectively address various editing tasks, including object/background replacement and object attribute editing. Our method demonstrates its superior performance in terms of image fidelity, editing accuracy, efficiency, and faithfulness to the original image, without the need for fine-tuning or training.

연구 동기 및 목표

• 최적화 없이도 확산 기반 이미지 편집에서 발생하는 이미지 일관성 문제와 이미지-텍스트 불일치 문제를 해결한다.
• 노이즈가 많은 중간 특징에서 픽셀 수준의 블렌딩으로 인해 발생하는 아티팩트와 낮은 의미 일관성 문제를 극복한다.
• 어텐션 마스킹을 통해 사용자가 정의한 영역에 한해 텍스트 기반 생성을 국한시킴으로써 정밀하고 국소적인 편집을 가능하게 한다.
• 사전 훈련된 모델을 활용하면서도 미세조정을 피함으로써 높은 효율성과 일반화 능력을 유지한다.
• 최소한의 사용자 입력으로 객체 교체, 배경 편집, 속성 조작 등 다양한 편집 작업을 지원한다.

제안 방법

• 다중 척도 마스크를 사용하여 고수준에서 저수준으로 향해 깊은 특징 맵을 점진적으로 블렌딩함으로써 의미 일관성을 확보한다.
• 픽셀 수준의 노이즈 제거 블렌딩을 특징 수준의 융합으로 대체하여, 생성된 콘텐츠가 다중 수준의 특징을 통해 자연스럽게 통합되도록 한다.
• 크로스 어텐션 레이어에 어텐션 마스킹 메커니즘을 도입하여 특정 단어의 영향을 지정된 영역로 제한한다.
• 미세조정이나 최적화 없이도 동작하는 동결된 사전 훈련된 텍스트-이미지 확산 모델을 사용한다.
• 마스크된 어텐션을 통해 원본 이미지와 텍스트 프롬프트를 동시에 조건으로 삼아 노이즈 제거 과정을 조정함으로써 모델의 일반화 능력을 극대화한다.
• 기본 확산 모델에서 PFB 및 어텐션 마스킹 모듈를 분리함으로써 플러그-앤플레이그 가능하게 한다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 블렌딩과 비교해 특징 수준의 편집이 의미 일관성 향상과 아티팩트 감소에 기여하는가?
• RQ2 점진적 다중 척도 특징 블렌딩이 이미지 구조 유지와 일관성 있는 편집 생성에 얼마나 효과적인가?
• RQ3 어텐션 마스킹이 국소화 정확도 향상과 편집 영역에서의 의도하지 않은 객체 생성 감소에 얼마나 기여하는가?
• RQ4 미세조정 없이 최적화되지 않은 방법이 이미지 정밀도, 일치도, 효율성에서 최첨단 성능을 달성할 수 있는가?
• RQ5 실제 편집 시나리오에서 뚜렷하거나 잘못된 마스크가 제공될 경우 이 방법의 내성은 어느 정도인가?

주요 결과

• 배경 편집 작업에서 PFB-Diff는 CLIP 점수(32.3)와 로컬 CLIP 점수(30.12)를 기록하여 기준 방법들을 압도한다.
• 어텐션 마스킹을 적용했을 때, 원래 주제 주변에 불필요하게 생성되는 말 같은 잡음 객체(예: 여유로운 말)의 발생을 100% 감소시켰다.
• 사용자 연구 결과 PFB-Diff는 평균 순위 점수 4점 만점에 3.7점을 기록하여 경쟁 방법들보다 뚜렷한 인간 선호도를 보였다.
• 粗안하거나 일치하지 않는 마스크(예: 새 모양의 영역에 말을 생성)가 제공되더라도 PFB-Diff는 높은 품질과 일관성 있는 결과를 유지한다.
• PFB와 어텐션 마스킹을 모두 적용한 PFB-Diff의 FID 점수는 13.4로, 약간 높은 기준 수준임에도 불구하고 정밀도와 일치도 사이의 균형을 잘 유지하고 있음을 시사한다.
• 절단 분석 결과 PFB만으로도 픽셀 수준 방법 대비 블렌딩 품질이 향상되었고, 어텐션 마스킹은 정밀한 국소화에 필수적임을 확인했다.