[논문 리뷰] Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models

Jooyoung Choi, Yunjey Choi외 3명|arXiv (Cornell University)|2023. 05. 25.

Computational and Text Analysis Methods인용 수 7

한 줄 요약

Custom-Edit는 두 단계로 구성된 텍스트 유도 이미지 편집 프레임워크를 제안한다. 첫 번째 단계에서는 증강된 프롬프트를 사용하여 텍스트 관련 파rameter들(텍스트 임bedding 및 어텐션 가중치)만을 이용해 확산 모델을 사전 학습된 파라미터를 그대로 유지하면서 맞춤화하고, 두 번째 단계에서는 원본 구조를 유지하면서 참조 이미지의 외관 정확도를 향상시키는 고해상도 편집을 수행한다. 이 방법은 기존의 Textual Inversion 및 Dreambooth와 같은 접근 방식에 비해 원본-참조 유사도의 우수한 트레이드오프를 달성한다.

ABSTRACT

Text-to-image diffusion models can generate diverse, high-fidelity images based on user-provided text prompts. Recent research has extended these models to support text-guided image editing. While text guidance is an intuitive editing interface for users, it often fails to ensure the precise concept conveyed by users. To address this issue, we propose Custom-Edit, in which we (i) customize a diffusion model with a few reference images and then (ii) perform text-guided editing. Our key discovery is that customizing only language-relevant parameters with augmented prompts improves reference similarity significantly while maintaining source similarity. Moreover, we provide our recipe for each customization and editing process. We compare popular customization methods and validate our findings on two editing methods using various datasets.

연구 동기 및 목표

• 사전 훈련 기간 동안 등장하지 않은 사용자 지정 시각적 개념을 충실하게 전달하지 못하는 텍스트 유도 이미지 편집의 한계를 해결하기 위해.
• 텍스트 유도 편집에서 참조 외관 정확도를 향상시키기 위해 언어 관련 모델 파라미터만을 맞춤화함으로써.
• 원본 이미지 구조 유지와 참조 외관 정확도 일치 사이의 트레이드오프를 균형 있게 조절하기 위해.
• 기존 방법보다 정량적 및 정성적 지표에서 모두 뛰어난 성능을 보이는 실용적인 맞춤화 및 편집 레시피를 제공하기 위해.

제안 방법

• 참조 이미지를 사용하여 사전 훈련된 확산 모델(Stable Diffusion)을 미세조정함으로써, 교차 어텐션 키와 값, 그리고 희귀 토큰 임베딩(V*)만을 업데이트한다.
• 편집 중에 참조 외관에 집중하기 위해 '[희귀 토큰] [수정자] [클래스 명사]' 형태의 증강 프롬프트를 적용한다.
• LAION에서 CLIP를 이용해 검색한 이미지를 사용하여 사전 유지 손실을 도입함으로써 일반적인 언어 이해를 유지하고 언어 이탈을 방지한다.
• Prompt-to-Prompt(P2P) 및 SDEdit를 사용하여 텍스트 유도 편집을 수행하며, 수정된 어텐션 맵을 통합하여 원본 구조를 유지하면서 참조 외관을 전달한다.
• BLIP2를 사용하여 원본 프롬프트를 자동으로 생성함으로써 수동 캡션 없이 엔드 투 엔드 텍스트 유도 편집을 가능하게 한다.
• P2P의 주입 시간(t=τ)과 SDEdit의 확산 단계를 조절하여 편집 강도를 제어함으로써 원본과 참조 유사도 사이의 트레이드오프 분석이 가능하다.

Figure 1 : Our Custom-Edit allows high-fidelity text-guided editing, given a few references. Edited images with BLIP2 [ 13 ] captions show the limitation of textual guidance in capturing the fine-grained appearance of the reference.

실험 결과

연구 질문

• RQ1 확산 모델의 언어 관련 파라미터만을 맞춤화하는 것이 텍스트 유도 이미지 편집에서 참조 외관 정확도를 크게 향상시킬 수 있는가?
• RQ2 사용된 맞춤화 방법의 선택(예: Custom-Diffusion 대비 Textual Inversion 또는 Dreambooth)이 원본-참조 유사도 트레이드오프에 어떤 영향을 미치는가?
• RQ3 증강된 프롬프트('[희귀 토큰] [수정자] [클래스 명사]')를 사용하면 소수의 참조 이미지에서 세밀한 시각적 특징을 효과적으로 포착할 수 있는가?
• RQ4 다른 편집 프레임워크(P2P 대비 SDEdit)는 맞춤화된 모델과 어떻게 상호작용하여 원본 구조 유지 및 참조 외관 일치를 달성하는가?
• RQ5 사전 유지 손실을 사용할 경우 언어 이해를 유지하는 데 어떤 영향을 미치는가?

주요 결과

• 증강 프롬프트와 언어 관련 파라미터 미세조정을 통한 Custom-Edit는 P2P 및 SDEdit 편집 프레임워크에서 모두 최상의 원본-참조 유사도 트레이드오프를 달성한다.
• Custom-Diffusion는 Textual Inversion 및 Dreambooth에 비해 참조 유사도에서 뛰어나며, 원본 유사도는 유사하거나 더 우수한 수준을 유지함으로써 파라미터 효율적인 맞춤화의 효과를 입증한다.
• Textual Inversion는 Custom-Diffusion와 유사한 원본 유사도를 보이지만 참조 유사도가 유의미하게 낮아, 시각적 개념의 전달 능력이 열악함을 시사한다.
• Dreambooth는 높은 원본 유사도를 달성하지만 참조 유사도가 낮아, 정밀한 외관 전달이 요구되는 편집 작업에 덜 효과적임을 나타낸다.
• SDEdit는 모든 방법에서 P2P보다 원본 유사도가 낮게 나타나, P2P의 어텐션 주입 메커니즘이 원본 구조 유지에 더 효과적임을 시사한다.
• CLIP를 통해 검색한 사전 이미지를 사용한 사전 유지 손실은 언어 이해 유지에 기여하며, 맞춤화 과정에서 일반화 능력을 향상시킨다.

Figure 2 : Our Custom-Edit consists of two processes: the customization process and the editing process. (a) Customization. We customize a diffusion model by optimizing only language-relevant parameters (i.e., custom embedding V* and attention weights) on a given set of reference images. We also app