[논문 리뷰] CLIPstyler: Image Style Transfer with a Single Text Condition

Gihyun Kwon, Jong Chul Ye|arXiv (Cornell University)|2021. 12. 01.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

CLIPstyler는 참조 스타일 이미지를 필요로 하지 않고 단일 텍스트 기술만으로도 현실적인 스타일 전이를 생성하는 새로운 이미지 스타일 전이 방법을 제안한다. CLIP의 텍스트-이미지 임베딩과 다중 시야 증강을 활용한 패치 기반의 대비 손실을 통해, 콘텐츠 구조를 유지하면서도 의미론적으로 기반을 둔, 생생하고 다양한 무늬를 갖춘 스타일 전이를 가능하게 한다.

ABSTRACT

Existing neural style transfer methods require reference style images to transfer texture information of style images to content images. However, in many practical situations, users may not have reference style images but still be interested in transferring styles by just imagining them. In order to deal with such applications, we propose a new framework that enables a style transfer `without' a style image, but only with a text description of the desired style. Using the pre-trained text-image embedding model of CLIP, we demonstrate the modulation of the style of content images only with a single text condition. Specifically, we propose a patch-wise text-image matching loss with multiview augmentations for realistic texture transfer. Extensive experimental results confirmed the successful image style transfer with realistic textures that reflect semantic query texts.

연구 동기 및 목표

• 기존 신경망 기반 스타일 전이 방법의 핵심 한계인 참조 스타일 이미지가 필요로 하지 않는 이미지 스타일 전이를 가능하게 한다.
• 원하는 스타일에 대한 자연어 기술만을 기반으로 콘텐츠 이미지에 현실적이고 다양한 무늬를 전이한다.
• 사전 훈련된 생성 모델이나 인스턴스 정규화 레이어(예: AdaIN)에 의존하는 것을 피하기 위해, 텍스트 조건 기반 스타일 전이를 위한 경량 컨볼루션 네트워크(CNN)를 훈련한다.
• 다중 시야 증강을 활용한 패치 기반 CLIP 기반 손실을 통해 텍스트 프롬프트와 시각적 무늬 간의 의미론적 일치도를 향상시킨다.
• 훈련 중 고유한 유사도 점수를 가진 패치에 대한 임계값 정규화를 적용하여 과도한 스타일 전이 아티팩트를 줄인다.

제안 방법

• 콘텐츠 이미지를 단일 텍스트 조건에 따라 변환하기 위해 경량 CNN을 훈련하며, CLIP의 텍스트-이미지 임베딩 공간을 감독 신호로 사용한다.
• 패치 기반 대비 손실을 도입하여, 생성된 이미지의 패치를 CLIP를 통해 텍스트 임베딩과 비교함으로써 국소적 무늬 일치를 유도한다.
• 다양성과 현실감 있는 전이된 무늬를 향상시키기 위해 다중 시야 증강(예: 회전 또는 자르기)을 적용한다.
• 특정 패치 패tern에 과도하게 피팅되지 않도록, 이상하게 높은 유사도 점수를 가진 패치에 대해 임계값 정규화를 적용한다.
• 최적화 기반 및 빠른 추론 기반 추론 모드를 모두 지원하여 고해상도 스타일 전이를 가능하게 한다.
• 모델은 각 텍스트 조건별로 훈련되므로, 다양한 자연어 프롬프트에 유연하게 적용 가능한 스타일 전이가 가능하다.

Figure 2 : Overall schematics of our proposed patch-wise CLIP loss. We optimize the neural network $f$ using the loss functions.

실험 결과

연구 질문

• RQ1 참조 스타일 이미지 없이 단일 텍스트 기술만으로도 효과적인 이미지 스타일 전이가 가능한가?
• RQ2 CLIP의 사전 훈련된 텍스트-이미지 임베딩을 활용해 의미론적으로 의미 있는 현실적인 스타일 전이를 생성할 수 있는가?
• RQ3 다중 시야 증강을 적용한 패치 기반 대비 손실이 스타일 전이의 국소적 무늬의 현실감과 다양성을 향상시키는가?
• RQ4 임계값 정규화가 높은 유사도 패치로 인해 발생하는 과도한 스타일 전이 아티팩트를 완화할 수 있는가?
• RQ5 기존의 CLIP 기반 또는 AdaIN 기반 스타일 전이 방법과 비교했을 때, 콘텐츠 유지 및 스타일 정확도 측면에서 성능은 어떠한가?

주요 결과

• 제안된 방법은 '워터컬러', '파브리즘', '잉크와 물기법' 등의 다양한 스타일에서 질적 결과를 통해 단일 텍스트 기술만으로도 현실적이고 다양한 무늬를 콘텐츠 이미지에 성공적으로 전이함을 입증했다.
• 다중 시야 증강을 적용한 패치 기반 CLIP 손실은 무늬의 현실감과 다양성을 크게 향상시켜, 시각적 품질과 의미론적 일치도에서 베이스라인 방법을 능가한다.
• 임계값 정규화는 고유의 높은 유사도 점수를 가진 패치로 인한 과도한 스타일 전이 아티팩트를 효과적으로 감소시켜 전체적인 시각적 일관성을 향상시켰다.
• 고해상도 출력(최대 1920×2580)은 본 방법이 실용적 응용에 적합한 세밀한 스타일 전이 이미지를 생성할 수 있음을 보여준다.
• 사용자 연구 결과와 질적 비교를 통해 CLIPstyler는 AdaIN+CLIP, StyleCLIP, VQGAN+CLIP와 같은 기존 방법보다 콘텐츠 유지 및 스타일 합성 품질 측면에서 뛰어난 성능을 보였다.
• 실패 케이스는 나쁜 패치 샘플링 및 문장의 직역적 시각화에 대한 과도한 의존성으로 인한 한계를 드러내며, 향후 샘플링 전략과 프롬프트 엔지니어링 개선이 필요함을 시사한다.

Figure 3 : Style transfer results on various query text conditions. Our method can synthesize realistic textures which reflect the text conditions. Additional results are in our Supplementary Materials.