[논문 리뷰] ArtFusion: Controllable Arbitrary Style Transfer using Dual Conditional Latent Diffusion Models

Dar-Yen Chen|arXiv (Cornell University)|2023. 06. 15.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

ArtFusion는 훈련 및 추론 중에 내용과 스타일을 모두 조건으로 삼는 이중 조건부 잠재 확산 모델(Dual-cLDM)을 사용하는 확산 기반의 임의의 스타일 전이 모델을 제안한다. 이는 제어 가능하고 고해상도의 스타일 전이를 가능하게 하며, 유사도 손실에 의한 편향을 피하기 위해 분류기 자유 가이던스와 콘텐츠 리파인어를 통해 예술적 세부 정보를 잘 보존한다. 이로 인해 기존의 피드포워드 방법들보다 스타일 전이 품질과 사용자 조절 가능한 콘텐츠-스타일 균형에서 뛰어난 성능을 발휘한다.

ABSTRACT

Arbitrary Style Transfer (AST) aims to transform images by adopting the style from any selected artwork. Nonetheless, the need to accommodate diverse and subjective user preferences poses a significant challenge. While some users wish to preserve distinct content structures, others might favor a more pronounced stylization. Despite advances in feed-forward AST methods, their limited customizability hinders their practical application. We propose a new approach, ArtFusion, which provides a flexible balance between content and style. In contrast to traditional methods reliant on biased similarity losses, ArtFusion utilizes our innovative Dual Conditional Latent Diffusion Probabilistic Models (Dual-cLDM). This approach mitigates repetitive patterns and enhances subtle artistic aspects like brush strokes and genre-specific features. Despite the promising results of conditional diffusion probabilistic models (cDM) in various generative tasks, their introduction to style transfer is challenging due to the requirement for paired training data. ArtFusion successfully navigates this issue, offering more practical and controllable stylization. A key element of our approach involves using a single image for both content and style during model training, all the while maintaining effective stylization during inference. ArtFusion outperforms existing approaches on outstanding controllability and faithful presentation of artistic details, providing evidence of its superior style transfer capabilities. Furthermore, the Dual-cLDM utilized in ArtFusion carries the potential for a variety of complex multi-condition generative tasks, thus greatly broadening the impact of our research.

연구 동기 및 목표

• 피드포워드 임의의 스타일 전이(ART) 모델의 한계를 해결하기 위해, 이는 일반적으로 유사도 손실에 의해 편향되어 단조롭거나 과도하거나 부족한 스타일 전이 결과를 낳기 때문이다.
• 실제 환경에서는 일반적으로 확보되지 않는 훈련 중에 쌍화된 데이터가 필요한 조건부 확산 모델의 스타일 전이 문제를 해결하기 위해.
• 사용자 선호도에 따라 콘텐츠 보존과 스타일 전이 강도를 제어 가능한 영역에서 조절 가능한 영역을 제공하기 위해.
• 반복적인 잡음이나 색상 왜곡을 유발하지 않으면서도 브러시스트로크와 장르 특화 특징과 같은 세밀한 예술적 세부 정보를 보존하기 위해.
• 쌍화된 훈련 데이터나 복잡한 최적화 없이도 확산 모델이 ART에 효과적으로 적용될 수 있음을 보여주기 위해.

제안 방법

• ArtFusion는 콘텐츠 및 스타일 특징을 동시에 조건으로 삼는 이중 조건부 잠재 확산 모델(Dual-cLDM)을 사용하여, 공유된 잠재 공간을 통해 노이즈 제거 과정을 조정한다.
• 훈련 중에 모델은 단일 이미지가 콘텐츠 및 스타일 참조로 동시에 기능하는 자기 복원 작업을 통해 가능도 학습을 통해 최적화되며, 이로 인해 쌍화된 데이터가 필요 없어진다.
• 콘텐츠 리파인어는 콘텐츠 특징 맵의 깊이 차원을 16에서 12로 압축하여 잔류 스타일 정보를 최소화하고 콘텐츠 특징에 대한 과도한 의존을 방지한다.
• 분류기 자유 가이던스(CFG)는 이중 차원(2D-CFG)으로 확장되어 추론 중에 콘텐츠 및 스타일 가이던스 스케일을 별도로 제어할 수 있게 하여 동적 스타일 전이 조정이 가능해진다.
• 스타일 특징는 사전 학습된 VGG 네트워크를 사용해 추출되며, 콘텐츠 특징는 제1단계 VAE를 통해 인코딩되고, 각 노이즈 제거 단계에서 적응형 정규화 레이어를 통해 통합된다.
• 잠재 공간 내의 노이즈 보간은 여러 예술 스타일 간의 부드럽고 연속적인 전환을 가능하게 하여 하이브리드 스타일 생성을 지원한다.

Figure 2: The inference framework of the Dual-cLDM for style transfer. Initiated from isotropic Gaussian-distributed noise $\hat{z}_{T}$ , the dual conditional backbone progressively denoises using both content and style as conditions. Post-denoising, the $\hat{z}_{0}$ is decoded using the first-sta

실험 결과

연구 질문

• RQ1 쌍화된 훈련 데이터가 없이도 조건부 확산 모델이 임의의 스타일 전이에 효과적으로 훈련될 수 있는가?
• RQ2 사용자 선호도를 반영하기 위해 추론 중에 콘텐츠와 스타일을 어떻게 제어 가능한 방식으로 균형을 맞출 수 있는가?
• RQ3 확산 모델은 VGG 평균/분산과 같은 유사도 기반 손실에 의한 편향을 피할 수 있는가? 이는 잡음이나 색상 왜곡을 유발할 수 있다.
• RQ4 확산 모델은 브러시워크나 장르 특화 특징 같은 미세한 예술적 세부 정보를 어느 정도 보존할 수 있는가?
• RQ5 이중 조건부 잠재 확산 프레임워크는 스타일 전이 외의 다중 조건 생성 작업으로 일반화될 수 있는가?

주요 결과

• Qualitative 및 quantitative 평가를 통해 ArtFusion는 기존의 피드포워드 AST 모델보다 붓기스러움과 장르 특화 특징과 같은 세밀한 예술적 세부 정보를 더 잘 보존함을 확인했다.
• 출력물이 복잡하거나 추상적인 스타일 참조와도 시각적으로 유사하게 유지되며, 스타일 전이의 정밀도가 뛰어나다.
• 2D-CFG의 사용은 사용자 조절이 가능한 콘텐츠-스타일 트레이드오프를 동적 제어할 수 있게 하여, 가이던스 스케일 조정을 통해 과도한 스타일 전이에서부터 부족한 스타일 전이까지의 범위를 커버한다.
• Ablation 연구 결과, 콘텐츠 특징를 16에서 12 차원으로 압축하는 것이 최적의 균형을 이룹니다. 이는 콘텐츠 특징에 대한 과도한 의존과 콘텐츠 구조의 손실을 방지한다.
• VGG 기반의 스타일 유사도 손실에 의존하는 모델에서 흔히 발생하는 반복적 잡음 및 색상 왜곡을 피할 수 있다.
• 잠재 공간 내의 보간은 콘텐츠 및 스타일 참조를 조합한 하이브리드 스타일을 포함하여, 다양한 예술 스타일 간의 부드럽고 연속적인 융합을 가능하게 한다.

Figure 3: Left: Dual-cLDM Architecture. Pretrained VGG extracts style features $f_{s}$ , while content features $z_{c}$ are encoded using the first-stage VAE encoder. The content refiner processes $z_{c}$ into $z_{r}$ , refining content from inherent style. The refined $z_{r}$ is then concatenated w