[논문 리뷰] StyleDiffusion: Controllable Disentangled Style Transfer via Diffusion Models

Zhizhong Wang, Lei Zhao외 1명|arXiv (Cornell University)|2023. 08. 15.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 컨텐츠를 명시적으로 추출하고 스타일을 암묵적으로 학습하는, 제어 가능하고 분리 가능한 스타일 전이를 위한 새로운 확산 기반 프레임워크인 StyleDiffusion을 제안한다. CLIP 기반 손실과 확산 모델을 활용해 스타일 제거 및 생성을 수행함으로써, 이해할 수 있고 사용자가 제어할 수 있는 컨텐츠와 스타일의 분리가 이루어지는 최신 기술 수준의 스타일 전이 품질을 달성한다.

ABSTRACT

Content and style (C-S) disentanglement is a fundamental problem and critical challenge of style transfer. Existing approaches based on explicit definitions (e.g., Gram matrix) or implicit learning (e.g., GANs) are neither interpretable nor easy to control, resulting in entangled representations and less satisfying results. In this paper, we propose a new C-S disentangled framework for style transfer without using previous assumptions. The key insight is to explicitly extract the content information and implicitly learn the complementary style information, yielding interpretable and controllable C-S disentanglement and style transfer. A simple yet effective CLIP-based style disentanglement loss coordinated with a style reconstruction prior is introduced to disentangle C-S in the CLIP image space. By further leveraging the powerful style removal and generative ability of diffusion models, our framework achieves superior results than state of the art and flexible C-S disentanglement and trade-off control. Our work provides new insights into the C-S disentanglement in style transfer and demonstrates the potential of diffusion models for learning well-disentangled C-S characteristics.

연구 동기 및 목표

• 기존의 스타일 전이 방법이 그람 행렬이나 GAN 기반 학습과 같이 암묵적이거나 제어하기 어려운 방식의 스타일 정의에 의존하는 한계를 해결하기 위해.
• 감독 신호나 사전 정의된 스타일 가정에 의존하지 않고 진정으로 분리된 컨텐츠와 스타일 표현을 얻기 위해.
• 분리된 표현을 컨텐츠 추출 제어로 전환하여 스타일 전이에 대해 이해 가능하고 민감한 제어를 가능하게 하기 위해.
• 확산 모델의 생성 능력을 활용해 스타일 전이의 정확도와 세부 사항 보존을 향상시키기 위해.
• 확산 모델을 활용한 이미지 생성에서 분리 표현 학습의 새로운 패러다임을 제공하기 위해.

제안 방법

• 컨텐츠 및 스타일 이미지 양쪽에서 컨텐츠를 분리하기 위해 색상 제거 연산을 적용하는 확산 기반 스타일 제거 모듈을 통해 컨텐츠 특징을 명시적으로 추출한다.
• 스타일 전이 출력을 생성하는 확산 기반 스타일 전이 모듈을 통해 보완적인 스타일 정보를 암묵적으로 학습한다.
• 컨텐츠 이미지와 스타일 이미지 양측에서 컨텐츠 → 스타일 전환 출력의 이미지 공간 매핑을 CLIP 임베딩 공간에서 정렬하는 CLIP 기반 스타일 분리 손실을 도입한다.
• 학습 중에 원본 스타일 이미지를 재구성하도록 유도하여, 스타일 전이의 정확성을 보장하기 위해 스타일 재구성 사전 지식을 통합한다.
• 이중 단계 학습 프로세스를 사용한다: 첫 번째 단계에서는 CLIP 손실과 재구성 사전 지식을 활용해 스타일 제거 및 전이 모듈을 학습하고, 두 번째 단계에서는 전체 파이프라인을 향상된 스타일 전이를 위해 미세 조정한다.
• 확산 모델의 강력한 생성 능력을 활용해 내용 구조를 유지하면서도 고품질의 세밀한 스타일 전환 이미지를 생성한다.

Figure 1: Overview of our proposed StyleDiffusion. The content image $I_{c}$ and style image $I_{s}$ are first fed into a diffusion-based style removal module to explicitly extract the domain-aligned content information. Then, the content of $I_{c}$ is fed into a diffusion-based style transfer modul

실험 결과

연구 질문

• RQ1 그람 행렬과 같은 명시적인 스타일 정의에 의존하지 않고도 컨텐츠와 스타일의 분리가 더 이해 가능하고 제어 가능한가?
• RQ2 확산 모델을 활용해 스타일을 제거하면서도 컨텐츠를 유지함으로써 컨텐츠와 스타일을 효과적으로 분리할 수 있는가?
• RQ3 CLIP 기반 손실 함수가 CLIP 공간에서 컨텐츠 → 스타일 전환 매핑을 정렬함으로써 분리 가능한 스타일 전이를 효과적으로 이끌 수 있는가?
• RQ4 스틸리제이션 품질, 컨텐츠 보존, 분리 정확도 측면에서 기존 최신 기술 대비 제안된 방법은 어떻게 비교되는가?
• RQ5 이 방법의 실패 사례는 무엇이며, 아키텍처나 학습 수정을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• StyleDiffusion는 Gatys [19], EFDM [95], TPFR [79], ArtFlow [1] 등의 방법과의 정성적 비교에서 스타일 전이 분야에서 최신 기술 수준의 성능을 달성한다.
• 다양한 데이터셋에서의 확대 비교를 통해 잘 보존된 컨텐츠 구조와 함께 매우 세밀한 스타일 전환 결과를 생성한다.
• CLIP 기반 분리 손실은 CLIP 임베딩 공간에서 컨텐츠와 스타일 전환 출력 간의 정렬을 크게 향상시켜 더 일관되고 정확한 스타일 전이를 이끈다.
• 스타일 재구성 사전 지식은 전달된 스타일의 정확성을 향상시켜 원본 스타일 이미지의 색상 및 질감 분포에서의 편차를 줄인다.
• 실패 사례로는 색상 제거 연산으로 인해 눈에 띄는 컨텐츠(예: 빨간 가재)가 사라지는 현상이 발생할 수 있으며, 이는 대trast 유지 색상 제거 기법을 사용함으로써 완화할 수 있다.
• 복잡한 스타일(예: 포인티즘)에서는 스타일 전환 결과의 색상 분포가 편향될 수 있으며, 이는 더 긴 학습 시간을 감수하면서도 스타일 재구성 반복 횟수를 늘림으로써 감소시킬 수 있다.

Figure 2: Illustration of different loss functions to transfer the disentangled style information. (a) L1 loss cannot guarantee the stylized results are within the style domain and may suffer from a collapse problem. (b) Direction loss aligns the disentangled directions but cannot realize accurate m