[논문 리뷰] Region-Aware Diffusion for Zero-shot Text-driven Image Editing

Nisha Huang, Fan Tang외 3명|arXiv (Cornell University)|2023. 02. 23.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 자연어 프롬프트를 기반으로 특정 엔티티를 자동으로 탐지하고 교체함으로써 텍스트 기반, 제로샷 이미지 편집을 위한 영역 인식 확산 모델(RDM)을 제안한다. 잠재 공간 확산과 분류기 없는 가이던스, 그리고 새로운 다중모달 엔티티 캘리브레이션 및 편집되지 않은 영역 보존 구성 요소를 결합함으로써 RDM은 편집되지 않은 콘텐츠를 유지하면서도 고해상도이고 의미적으로 일관된 편집을 달성하며, 이전 방법들보다 시각적 품질, 조화, 텍스트-이미지 일치도에서 뛰어난 성능을 보인다.

ABSTRACT

Image manipulation under the guidance of textual descriptions has recently received a broad range of attention. In this study, we focus on the regional editing of images with the guidance of given text prompts. Different from current mask-based image editing methods, we propose a novel region-aware diffusion model (RDM) for entity-level image editing, which could automatically locate the region of interest and replace it following given text prompts. To strike a balance between image fidelity and inference speed, we design the intensive diffusion pipeline by combing latent space diffusion and enhanced directional guidance. In addition, to preserve image content in non-edited regions, we introduce regional-aware entity editing to modify the region of interest and preserve the out-of-interest region. We validate the proposed RDM beyond the baseline methods through extensive qualitative and quantitative experiments. The results show that RDM outperforms the previous approaches in terms of visual quality, overall harmonization, non-editing region content preservation, and text-image semantic consistency. The codes are available at https://github.com/haha-lisa/RDM-Region-Aware-Diffusion-Model.

연구 동기 및 목표

• 사용자가 그린 마스크나 영역 주석 없이도 제로샷, 텍스트 기반 이미지 편집을 가능하게 하는 것.
• 단지 텍스트 프롬프트만을 사용하여 이미지 내 특정 엔티티를 자동으로 국소화하고 교체하는 과제를 해결하는 것.
• 엔티티 교체 과정에서 편집되지 않은 영역의 콘텐츠 무결성을 유지하면서도 고해상도 이미지를 유지하는 것.
• 텍스트 프롬프트와 생성된 이미지 편집 간의 의미 일致성을 향상시키는 것.

제안 방법

• 사전 훈련된 오토인코더의 잠재 공간에서 작동하는 영역 인식 확산 모델(RDM)을 제안하여 추론 속도를 향상시키고 계산 비용을 절감한다.
• 텍스트 프롬프트를 관련 이미지 토큰과 정렬함으로써 대상 편집 영역을 식별하는 다중모달 엔티티 캘리브레이션 구성 요소를 도입한다.
• 확산 과정 중 분류기 없는 가이던스를 적용하여 텍스트-이미지 의미 일치도와 생성 품질을 향상시킨다.
• 편집되지 않은 영역의 콘텐츠 무결성을 유지하기 위해 비편집 영역 보존(NERP) 구성 요소를 통합한다.
• 속도와 해상도를 균형 잡기 위해 잠재 확산과 향상된 방향성 가이던스를 조합한 하이브리드 파이프라인을 사용한다.
• CLIP을 활용하여 다중모달 일치를 달성하고, "A → B"와 같은 어휘 수준의 프롬프트를 통해 편집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 확산 모델이 사용자에 의해 그린 마스크 없이도 단지 텍스트 프롬프트만을 사용하여 이미지 내 특정 엔티티를 자동으로 국소화하고 편집할 수 있는가?
• RQ2 편집되지 않은 영역의 콘텐츠를 유지하면서도 이미지 해상도와 편집 품질을 어떻게 향상시킬 수 있는가?
• RQ3 분류기 없는 가이던스가 텍스트 프롬프트와 생성된 이미지 편집 간의 의미 일치도를 얼마나 향상시키는가?
• RQ4 다중모달 엔티티 캘리브레이션 구성 요소는 국소화 정확도와 의미 일치도에 어떤 영향을 미치는가?
• RQ5 NERP 구성 요소는 편집되지 않은 영역에서의 콘텐츠 보존과 아티팩트 감소에 어떤 영향을 미치는가?

주요 결과

• NERP 구성 요소가 있는 경우 RDM은 LPIPS 점수 0.039를 기록하여 구성 요소를 제거했을 때의 0.143보다 유의미하게 낮아, 편집되지 않은 영역에서의 콘텐츠 보존 능력이 뛰어나다는 것을 시사한다.
• 인간 선호 평가 결과, 2520표 중 78.5%에서 RDM이 선호되었으며, 이는 편집 품질과 현실성 면에서 강한 사용자 선호도를 보임을 의미한다.
• 정성적 및 정량적 실험을 통해 시각적 품질, 종합 조화, 텍스트-이미지 의미 일치도 면에서 기준 모델들을 능가하는 성능을 입증하였다.
• 스케일 s=5인 분류기 없는 가이던스는 편집 품질을 크게 향상시키며, 이 가이던스가 없는 경우 결과는 뚜렷하게 劣화된다.
• 편집 대상이 형태적으로 크게 다를 경우(예: 물고기에서 젤리피쉬로의 변경) 또는 CLIP이 다른 해석을 선호할 경우(예: 컵 재질 변경) 실패 케이스가 발생하며, 이는 구조적 및 의미적 일반화 능력에 한계가 있음을 시사한다.
• 다중모달 엔티티 캘리브레이션 구성 요소는 중간 K 값에서 최적 성능을 보이며, 국소화 정확도와 의미 일치도 사이의 균형을 잘 잡는다.