[논문 리뷰] Style Injection in Diffusion: A Training-free Approach for Adapting Large-scale Diffusion Models for Style Transfer

Jiwoo Chung, Sangeek Hyun외 1명|arXiv (Cornell University)|2023. 12. 11.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 학습을 필요로 하지 않는 스타일 전이 방법을 제안하며, 대규모 확산 모델에 대해 추론 시 자기주의 특징 조작을 통해 스타일을 주입함으로써 구현한다—특히 내용 이미지의 키와 밸류를 스타일 이미지의 것으로 교체한다. 이 방법은 국소적 질감 유사성 기반으로 내용 구조를 유지하면서 스타일을 전달하며, 최적화 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Despite the impressive generative capabilities of diffusion models, existing diffusion model-based style transfer methods require inference-stage optimization (e.g. fine-tuning or textual inversion of style) which is time-consuming, or fails to leverage the generative ability of large-scale diffusion models. To address these issues, we introduce a novel artistic style transfer method based on a pre-trained large-scale diffusion model without any optimization. Specifically, we manipulate the features of self-attention layers as the way the cross-attention mechanism works; in the generation process, substituting the key and value of content with those of style image. This approach provides several desirable characteristics for style transfer including 1) preservation of content by transferring similar styles into similar image patches and 2) transfer of style based on similarity of local texture (e.g. edge) between content and style images. Furthermore, we introduce query preservation and attention temperature scaling to mitigate the issue of disruption of original content, and initial latent Adaptive Instance Normalization (AdaIN) to deal with the disharmonious color (failure to transfer the colors of style). Our experimental results demonstrate that our proposed method surpasses state-of-the-art methods in both conventional and diffusion-based style transfer baselines.

연구 동기 및 목표

• 세부 조정이나 텍스트 기반 역학 기법을 필요로 하는 기존의 확산 기반 스타일 전이 방법의 한계를 해결한다.
• Stable Diffusion와 같은 대규모 사전 학습된 확산 모델에서 재학습이나 최적화 없이도 효과적인 스타일 전이를 가능하게 한다.
• 자기주의 레이어의 내재된 주의 메커니즘을 활용하여 내용 의미론과 공간 레이아웃을 유지하면서 스타일을 전달한다.
• 쿼리 유지 및 적응형 인스턴스 정규화를 통해 내용 왜곡과 색상 불일치 문제를 완화한다.
• 유창한 스타일-콘텐츠 상호작용 제어를 위해 추론 시 사용할 수 있는 학습 가능한 파라미터를 제공한다.

제안 방법

• 내용 이미지의 순방향 전파 중, 특히 국소 질감에 민감한 후기 디코더 레이어에서 자기주의 키 및 밸류 특징을 스타일 이미지의 것으로 교체하여 스타일을 주입한다.
• 원본 콘텐츠 쿼리 특징의 일부를 유지함으로써 쿼리 유지 전략을 적용하여 원본 이미지의 구조 왜곡을 방지한다.
• 주의 온도 스케일링을 도입하여 주의 맵을 뚜렷하게 하고, 생성된 이미지의 디테일 무결성을 향상시키며 뿌연 현상을 줄인다.
• 초기 잠재 공간에 대한 적응형 인스턴스 정규화(AdaIN)를 적용하여 생성된 이미지의 색상 분포를 목표 스타일 이미지와 일치시킨다.
• 유창한 스타일-콘텐츠 상호작용 제어를 위해 추론 중에 제어할 수 있는 학습 가능한 파라미터 γ를 사용한다.
• 모델의 재학습, 텍스트 기반 역학 기법, 기울기 기반 최적화 없이도 추론 단계에서만 작동한다.

실험 결과

연구 질문

• RQ1 사전 학습된 확산 모델의 자기주의 특징을 조작하여, 재학습이나 텍스트 기반 역학 기법 없이도 학습 비용이 없는 스타일 전이를 가능하게 할 수 있는가?
• RQ2 스타일 이미지의 키와 밸류로 자기주의 레이어의 키 및 밸류를 교체함으로써 내용 구조를 유지하고 국소 질감 유사성 기반으로 스타일을 전달할 수 있는가?
• RQ3 쿼리 유지 및 주의 온도 스케일링 전략이 스타일 주입 중 내용 왜곡을 최소화하는 데 얼마나 효과적인가?
• RQ4 초기 잠재 공간 AdaIN이 스타일 전이 결과의 색상 불일치 문제를 효과적으로 해결하는가?
• RQ5 기존 기준 대비 제안된 방법이 얼마나 높은 수준의 스타일-콘텐츠 상호작용 제어 유연성을 달성할 수 있는가?

주요 결과

• 제안된 방법은 스타일-프레셰 인ception 거리(ArtFID) 28.80과 FID 18.13을 기록하며, 전통적 및 확산 기반 스타일 전이 기준 모두에서 최신 기술 수준을 초월한다.
• 제거 실험 결과, 스타일 주입이 스타일 전이에 필수적임을 확인하였으며, 이를 제거하면 ArtFID는 28.80에서 43.72로, FID는 18.13에서 27.13으로 증가한다.
• 주의 온도 스케일링은 이미지 품질을 크게 향상시키며, FID는 τ=1.0일 때 18.13에서 τ=1.5일 때 17.21로 감소하고, LPIPS는 0.505에서 0.535로 개선된다.
• 초기 잠재 공간 AdaIN은 색상 전이를 향상시키며, 이를 제거하면 LPIPS가 0.505(기본값)에서 0.390으로 감소하여 색상 무결성이 향상됨을 시사한다.
• γ를 통해 스타일-콘텐츠 상호작용 제어가 가능하며, 낮은 γ 값은 강한 스타일 전이를, 높은 γ 값은 더 많은 콘텐츠 유지 효과를 보이며, FID 및 LPIPS 지표를 통해 검증되었다.
• 텍스트 기반 방법과 비교해 볼 때, 제안된 방법은 더 높은 스타일 무결성을 달성하였으며, 텍스트 프롬프트가 질감 및 색조 정보를 모두 포괄하지 못함을 확인하였다.