[논문 리뷰] DiffusionCLIP: Text-guided Image Manipulation Using Diffusion Models

Gwanghyun Kim, Jong Chul Ye|arXiv (Cornell University)|2021. 09. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 30

한 줄 요약

이 논문은 추가적인 인코더 없이 고해상도의 정확한 편집과 역행성에 강건한 이미지 편집을 가능하게 하는 텍스트 유도형 이미지 조작 프레임워크인 DiffusionCLIP을 소개한다. 이는 확산 모델과 CLIP 손실을 활용하며, 최신의 GAN 기반 방법과 경쟁 가능한 성능을 달성하고, 새로운 응용 분야인 제로샷 도메인 번역 및 미리 보지 않은 도메인에서의 스트로크 조건 기반 생성을 가능하게 한다.

ABSTRACT

Diffusion models are recent generative models that have shown great success in image generation with the state-of-the-art performance. However, only a few researches have been conducted for image manipulation with diffusion models. Here, we present a novel DiffusionCLIP which performs text-driven image manipulation with diffusion models using Contrastive Language-Image Pre-training (CLIP) loss. Our method has a performance comparable to that of the modern GAN-based image processing methods for in and out-of-domain image processing tasks, with the advantage of almost perfect inversion even without additional encoders or optimization. Furthermore, our method can be easily used for various novel applications, enabling image translation from an unseen domain to another unseen domain or stroke-conditioned image generation in an unseen domain, etc. Finally, we present a novel multiple attribute control with DiffusionCLIPby combining multiple fine-tuned diffusion models.

연구 동기 및 목표

• 이 분야의 제한된 이전 연구에 비해 이 분야에서 텍스트 유도형 이미지 조작을 가능하게 하기 위해.
• 추가적인 인코더나 최적화 없이도 거의 완벽한 복원 성능을 달성하는 고해상도 이미지 편집을 실현하기 위해.
• 제로샷 이미지 번역 및 새로운 도메인에서의 스트로크 조건 기반 생성과 같은 새로운 응용 분야를 지원하기 위해.
• 복잡한 편집 작업을 위한 다중 속성 제어를 가능하게 하기 위해 미세조정된 확산 모델을 조합함으로써 다중 속성 제어를 실현하기 위해.

제안 방법

• 확산 샘플링 중에 텍스트 프롬프트와 이미지 특징 간의 정렬을 위해 대조적 언어-이미지 사전 훈련(Contrastive Language-Image Pre-training, CLIP) 손실을 활용한다.
• 추가적인 인코더가 필요 없이 이미지 생성 및 편집을 위한 배경으로 사전 훈련된 확산 모델을 사용한다.
• CLIP 기반 대비 손실을 활용하여 노이즈 스케줄과 잠재 공간을 최적화함으로써 텍스트 유도형 이미지 조작을 수행한다.
• 새로운 도메인을 설명하는 텍스트 프롬프트를 조건으로 하여 확산 과정을 조절함으로써 제로샷 도메인 전이를 가능하게 한다.
• 확산 과정에 희소 공간 조건 신호를 통합함으로써 스트로크 조건 기반 이미지 생성을 지원한다.
• 다양한 미세조정된 확산 모델을 조합하여 이미지 편집에서 다중 속성 제어를 실현한다.

실험 결과

연구 질문

• RQ1 확산 모델은 추가적인 인코더 없이도 GAN 기반 방법과 경쟁 가능한 고해상도 텍스트 유도형 이미지 조작을 달성할 수 있는가?
• RQ2 DiffusionCLIP는 명시적인 최적화나 인코더 없이도 거의 완벽한 이미지 복원을 얼마나 잘 수행할 수 있는가?
• RQ3 이 방법은 훈련 데이터를 초월해 새로운 도메인 간의 제로샷 이미지 번역에 일반화될 수 있는가?
• RQ4 이 방법은 새로운 도메인에서의 스트로크 조건 기반 생성과 같은 새로운 편집 패러다임을 지원할 수 있는가?
• RQ5 다양한 미세조정된 확산 모델의 조합은 다중 속성 제어에 얼마나 효과적인가?

주요 결과

• DiffusionCLIP는 도메인 내 및 도메인 외 이미지 편집 작업 모두에서 현대적인 GAN 기반 이미지 처리 방법과 비교해 유사한 성능을 달성한다.
• 추가적인 인코더나 최적화 단계 없이도 거의 완벽한 이미지 복원이 가능하다.
• 훈련 데이터를 초월한 일반화 능력을 보이며, 새로운 도메인 간의 제로샷 이미지 번역을 지원한다.
• 새로운 도메인에서 스트로크 조건 기반 이미지 생성이 가능해져 상호작용적 편집에 대한 적용 범위가 넓어진다.
• 미세조정된 확산 모델을 조합함으로써 다중 속성 제어가 효과적으로 실현되며, 복수의 제약 조건을 가진 복잡한 편집이 가능해진다.
• CLIP 손실의 사용으로 인해 텍스트 프롬프트와 생성된 이미지 콘텐츠 간의 강력한 정렬이 이루어져 편집 정확도가 향상된다.