[논문 리뷰] InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation

Haofan Wang, Spinelli, Matteo외 4명|arXiv (Cornell University)|2024. 04. 03.

Human Motion and Animation인용 수 4

한 줄 요약

InstantStyle는 특징 공간에서 콘텐츠 임베딩을 빼고 스타일 전용 블록에만 특징을 주입함으로써 스타일과 콘텐츠를 분리함으로써, 수동 가중치 조정이 필요 없는 스타일 유지형 텍스트-이미지 생성 프레임워크를 제안한다. 이는 최소한의 초모수 조정으로 뛰어난 스타일화를 달성하며, 콘텐츠 泄漏를 방지하고 세밀한 디테일을 유지한다.

ABSTRACT

Tuning-free diffusion-based models have demonstrated significant potential in the realm of image personalization and customization. However, despite this notable progress, current models continue to grapple with several complex challenges in producing style-consistent image generation. Firstly, the concept of style is inherently underdetermined, encompassing a multitude of elements such as color, material, atmosphere, design, and structure, among others. Secondly, inversion-based methods are prone to style degradation, often resulting in the loss of fine-grained details. Lastly, adapter-based approaches frequently require meticulous weight tuning for each reference image to achieve a balance between style intensity and text controllability. In this paper, we commence by examining several compelling yet frequently overlooked observations. We then proceed to introduce InstantStyle, a framework designed to address these issues through the implementation of two key strategies: 1) A straightforward mechanism that decouples style and content from reference images within the feature space, predicated on the assumption that features within the same space can be either added to or subtracted from one another. 2) The injection of reference image features exclusively into style-specific blocks, thereby preventing style leaks and eschewing the need for cumbersome weight tuning, which often characterizes more parameter-heavy designs.Our work demonstrates superior visual stylization outcomes, striking an optimal balance between the intensity of style and the controllability of textual elements. Our codes will be available at https://github.com/InstantStyle/InstantStyle.

연구 동기 및 목표

• 수동 조정이 없는 텍스트-이미지 생성에서의 스타일 열화와 콘텐츠 泄漏 문제를 해결한다.
• 잠재 공간 복원 과정에서 세밀한 디테일을 상실하는 인version 기반 방법의 한계를 극복한다.
• 어댑터 기반 접근법에서 수동 가중치 조정이 필요 없도록 스타일과 콘텐츠를 더 효과적으로 분리한다.
• 쌍체 데이터셋이나 복잡한 모듈 추가 없이도 일관된 스타일화를 달성한다.
• 텍스트 제어성과 고해상도 스타일 특징을 모두 유지하는 견고한 스타일 전이를 가능하게 한다.

제안 방법

• 특징 공간에서 콘텐츠 임베딩을 이미지 임베딩에서 빼내 스타일과 콘텐츠를 분리함으로써 콘텐츠 泄漏를 감소시킨다.
• 참고 이미지 특징을 스타일 전용 어텐션 블록에만 주입함으로써 의도하지 않은 콘텐츠 주입을 방지한다.
• 어텐션 레이어의 아키텍처 불변성을 활용해 스타일 주입에 가장 효과적인 블록을 식별한다.
• 微fine-tuning 없이도 고수준 표현을 확보하기 위해 CLIP을 이미지 특징 추출기로 활용한다.
• ControlNet과 같은 기존 어텐션 기반 주입 기법과 통합하여 제어력을 향상시킨다.
• 초기 튜닝 후 주입 강도를 1.0으로 고정하여 각 참조 이미지별 가중치 조정이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 쌍체 데이터셋이나 추가 모듈 없이도 특징 공간에서 스타일과 콘텐츠를 효과적으로 분리할 수 있는가?
• RQ2 전체 어텐션 주입과 비교해 스타일 전용 블록에만 특징을 주입하는 것이 스타일 충실도를 향상시키고 콘텐츠 泄漏를 줄이는가?
• RQ3 콘텐츠 임베딩 빼기 기법이 어댑터 기반 방법에서 수동 가중치 조정이 필요 없도록 할 수 있는가?
• RQ4 기존의 수동 조정이 없는 접근법과 비교해 시각적 품질과 스타일 일관성 측면에서 제안된 방법은 어떻게 성능을 내는가?
• RQ5 이 프레임워크는 공간적 구성이 복잡한 스타일을 포함한 다양한 스타일로 얼마나 잘 일반화되는가?

주요 결과

• 콘텐츠 임베딩 빼기는 콘텐츠 泄漏를 크게 감소시키며, 빼기 강도가 증가할수록 시각적 개선이 관찰된다.
• 스타일 전용 블록에만 특징을 주입할 경우 가장 우수한 성능을 기록하여 가장 일관되고 정확한 스타일화를 달성한다.
• 초기 설정 이후 수동 가중치 조정이 전혀 필요 없이 최신 기술 수준의 시각적 성과를 달성한다.
• ControlNet과의 호환성이 있어 조건부 스타일화를 가능하게 하며, 스타일 충실도와 텍스트 일치성을 유지한다.
• 텍스처와 색상과 같은 세밀한 디테일을 효과적으로 유지하여 인버전 기반 방법에서 흔히 발생하는 열화 현상을 방지한다.
• 공간적 레이아웃을 포함한 다양한 스타일로 잘 일반화되며, 특정 경우에서는 레이아웃 주입이 추가로 필요할 수 있다.