[논문 리뷰] Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer

Serin Yang, Hyunmin Hwang외 1명|arXiv (Cornell University)|2023. 03. 15.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 텍스트 유도형 확산 모델을 위한 훈련 불필요, 제로샷 대비 손실(이하 ZeCon)을 제안하며, 사전 훈련된 확산 모델 내 입력 및 생성된 이미지 임베딩 간의 패치 단위 대비 학습을 활용하여 스타일을 전달하면서도 콘텐츠를 유지한다. 이 방법은 미세조정이나 보조 네트워크 없이도 스타일 전이, 이미지 간 번역, 이미지 조작에서 기존 방법들을 능가한다.

ABSTRACT

Diffusion models have shown great promise in text-guided image style transfer, but there is a trade-off between style transformation and content preservation due to their stochastic nature. Existing methods require computationally expensive fine-tuning of diffusion models or additional neural network. To address this, here we propose a zero-shot contrastive loss for diffusion models that doesn't require additional fine-tuning or auxiliary networks. By leveraging patch-wise contrastive loss between generated samples and original image embeddings in the pre-trained diffusion model, our method can generate images with the same semantic content as the source image in a zero-shot manner. Our approach outperforms existing methods while preserving content and requiring no additional training, not only for image style transfer but also for image-to-image translation and manipulation. Our experimental results validate the effectiveness of our proposed method.

연구 동기 및 목표

• 확산 기반 이미지 생성에서 스타일 전이와 콘텐츠 유지 간의 상충 관계를 해결하기 위해.
• 텍스트 유도형 스타일 전이에서 미세조정이나 추가 신경망의 필요성을 제거하기 위해.
• 사전 훈련된 확산 모델 임베딩을 활용해 제로샷 콘텐츠 유지 기능을 실현하기 위해.
• 스태틱 및 의미론적 콘텐츠 유지 무결성을 유지하면서도 스타일 전이 품질을 향상시키기 위해.
• 스태일 전이 외에도 이미지 간 번역 및 이미지 조작 작업으로의 적용 가능성을 확장하기 위해.

제안 방법

• 사전 훈련된 확산 모델의 잠재 공간에서 추출한 패치 단위 특징에 기반하는 제로샷 대비 손실(이하 ZeCon)을 제안한다.
• 사용자 정의된 확산 모델의 자체 특징 임베딩을 활용해 입력 및 생성된 이미지 패치 간의 대비 손실을 계산한다.
• CLIP 기반 텍스트 가이던스와 ZeCon 손실을 통합하여 확산 과정을 원하는 스타일로 유도한다.
• 역소음 제거 과정 동안 손실를 적용하며, 각 단계에서 ZeCon 및 CLIP 손실의 기울기를 사용해 소음 제거된 이미지를 업데이트한다.
• 패치 기반 대비 학습을 통해 세밀한 구조적 세부 정보를 유지하면서도 전반적인 스타일 전이를 가능하게 한다.
• 추가 훈련, 미세조정, 보조 네트워크가 전혀 필요 없어 계산적으로 효율적이며 즉시 사용이 가능하다.

Figure 1: Our style transfer method produces impressive results when applied to a range of artistic styles. The method preserves the underlying structure of the source images while transforming them into the desired styles.

실험 결과

연구 질문

• RQ1 제로샷 대비 손실이 훈련 없이도 텍스트 유도형 확산 이미지 스타일 전이에서 의미론적 콘텐츠 유지에 기여할 수 있는가?
• RQ2 패치 기반 대비 학습이 VGG나 MSE 손실에 비해 구조적 세부 정보 유지에 얼마나 효과적인가?
• RQ3 제안된 방법이 다양한 스타일에서 콘텐츠 무결성을 유지하면서도 고품질의 스타일 전이를 달성할 수 있는가?
• RQ4 이 방법은 스타일 전이 외에도 이미지 간 번역 및 이미지 조작 작업으로 일반화되는가?
• RQ5 전반적 대비와 방향성 기반 CLIP 손실의 기여도, 패치 기반과 전체 이미지 가이던스의 기여도가 스타일 전이 품질에 미치는 영향은 어떠한가?

주요 결과

• 사용자 연구 결과에 따르면 ZeCon 손실은 MSE 및 VGG 손실을 개별적으로나 조합적으로 사용했을 때보다 콘텐츠 유지 성능을 크게 향상시켰으며, 콘텐츠 점수는 각각 4.81, 4.29, 3.29를 기록했다.
• 절단 실험 결과 ZeCon이 세밀한 구조적 세부 정보(예: 건물의 창문) 유지에 필수적임을 확인했으며, 이를 생략할 경우 이러한 세부 정보가 손실됨을 입증했다.
• 전반적 및 방향성 기반 CLIP 손실의 조합은 전반적 손실만 사용했을 때보다 더 스타일리시한 출력을 생성함을 보여, 방향성 가이던스가 스타일 조절에 기여함을 시사한다.
• 패치 기반 가이던스는 전체 이미지 가이던스에 비해 더 일관되고 넓은 영역의 스타일 전이를 가능하게 하며, 후자는 주로 국소 영역에만 영향을 미친다.
• 추론 시간은 38초로, DiffusionCLIP(96초) 및 DDIB(12초)보다 빠르며, 훈련 또는 데이터 준비가 전혀 필요 없다.
• 이 방법은 이미지 간 번역 및 외형 조작(예: 나이, 성별, 메이크업)으로도 효과적으로 일반화되어 넓은 적용 가능성을 입증했다.

Figure 2: Our proposed method. To guide the diffusion model in our proposed method, we calculate the ZeCon loss using a noise estimator $\epsilon_{\theta}(\cdot)$ and the CLIP loss using the CLIP model. These losses allow us to add gradients to the denoised image at each time step.