[논문 리뷰] DreamTuner: Single Image is Enough for Subject-Driven Generation

Hua Miao, Jiawei Liu외 4명|arXiv (Cornell University)|2023. 12. 21.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

DreamTuner는 단일 참조 이미지만을 사용하여 고해상도의 주제 신원 보존을 달성하는 훈련 없이 주제 기반 이미지 생성 방법을 제안한다. 이는 거친 신원 주입을 위한 주제 인코더와 세부 사항을 정교화하기 위한 자기 주제 어텐션 레이어를 결합하여, 기존의 파인튜닝 및 인코더 기반 방법보다도 훈련 단계를 최소화하면서도 신원 충실도와 생성 품질 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Diffusion-based models have demonstrated impressive capabilities for text-to-image generation and are expected for personalized applications of subject-driven generation, which require the generation of customized concepts with one or a few reference images. However, existing methods based on fine-tuning fail to balance the trade-off between subject learning and the maintenance of the generation capabilities of pretrained models. Moreover, other methods that utilize additional image encoders tend to lose important details of the subject due to encoding compression. To address these challenges, we propose DreamTurner, a novel method that injects reference information from coarse to fine to achieve subject-driven image generation more effectively. DreamTurner introduces a subject-encoder for coarse subject identity preservation, where the compressed general subject features are introduced through an attention layer before visual-text cross-attention. We then modify the self-attention layers within pretrained text-to-image models to self-subject-attention layers to refine the details of the target subject. The generated image queries detailed features from both the reference image and itself in self-subject-attention. It is worth emphasizing that self-subject-attention is an effective, elegant, and training-free method for maintaining the detailed features of customized subjects and can serve as a plug-and-play solution during inference. Finally, with additional subject-driven fine-tuning, DreamTurner achieves remarkable performance in subject-driven image generation, which can be controlled by a text or other conditions such as pose. For further details, please visit the project page at https://dreamtuner-diffusion.github.io/.

연구 동기 및 목표

• 단일 참조 이미지로만 주제 기반 이미지 생성에서 신원 보존과 생성 능력의 균형을 맞추는 과제를 해결하기 위해.
• 사전 훈련된 모델의 능력을 떨어뜨리는 파인튜닝 방법의 한계와, 압축으로 인해 주제 세부 정보를 상실하는 인코더 기반 방법의 한계를 극복하기 위해.
• 추론 중에 세밀한 주제 세부 정보를 보존하기 위한 훈련 없이 즉시 사용 가능한 플러그 앤 플레이 메커니즘을 개발하기 위해.
• 최소한의 사용자 입력으로도 개인화된 주제에 대해 유연하고 조건 제어가 가능한 생성(예: 텍스트 또는 자세)을 가능하게 하기 위해.

제안 방법

• 주제 인코더는 동결된 CLIP 이미지 인코더를 사용하여 참조 이미지 특징를 압축하고, 시각-텍스트 간 상호작용 이전의 어텐션 레이어를 통해 거친 신원 보존을 위해 주입한다.
• 콘텐츠와 레이아웃을 분리하기 위해 사전 훈련된 깊이 기반 ControlNet을 사용하여 주제 인코더에서 레이아웃 오버피팅을 방지한다.
• 기존의 자기 어텐션 메커니즘을 수정하여 생성된 이미지와 참조 이미지 양쪽의 특징을 쿼리하도록 하여, 주제 세부 정보의 반복적 정교화를 가능하게 하는 자기 주제 어텐션 레이어를 도입한다.
• 이 방법은 두 단계 훈련 과정을 사용한다: 첫째, ControlNet을 사용한 주제 인코더 훈련; 둘째, 자기 주제 어텐션을 통한 주제 기반 파인튜닝으로 세부 정보 충실도를 향상시킨다.
• 자기 주제 어텐션 메커니즘은 추가 훈련 없이 추론 중에 적용되므로, 고해상도 주제 생성을 위한 즉시 사용 가능한 솔루션이다.
• 초기화 파rameter β와 ω_ref는 각각 주제 인코더 주입 강도와 자기 주제 어텐션 강도를 제어하며, 최적 값은 β=0.2와 ω_ref=10.0에서 도출되었다.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델의 생성 능력을 훼손하지 않으면서도 단일 참조 이미지로 고해상도의 주제 기반 이미지 생성이 가능한가?
• RQ2 추가적인 이미지 인코더나 광범위한 파인튜닝에 의존하지 않고도 확산 생성 중에 세밀한 주제 세부 정보를 어떻게 보존할 수 있는가?
• RQ3 자기 어텐션 메커니즘을 어떻게 수정하여 생성된 이미지와 참조 이미지 양쪽을 쿼리함으로써 주제 신원 보존을 달성할 수 있는가?
• RQ4 단일 이미지 주제 생성 프레임워크에서 거친 신원 주입과 세부 정보 정교화 사이의 최적 균형은 무엇인가?

주요 결과

• DreamTuner는 DreamBooth, Textual Inversion, ELITE, MasaCtrl보다 주제 충실도(클립-I) 측면에서 뛰어나, 생성된 이미지와 참조 이미지 간 평균 코사인 유사도가 가장 높았다.
• 높은 주제 충실도를 유지하면서도 텍스트 일관성(클립-T)이 뛰어나, 프롬프트 준수와 신원 보존 사이의 효과적인 균형을 확보했다.
• 절단 실험 결과, β=0.2는 신원 일관성과 편집 가능성 사이의 최적의 트레이드오프를 제공하며, ω_ref=10.0은 품질 저하 없이 세부 정보 정교화를 최대화함을 보여주었다.
• 주제 인코더 훈련 중 ControlNet을 제거하면 레이아웃 정렬 오류가 발생하여, 콘텐츠와 레이아웃을 분리함으로써 보다 우수한 일반화 성능을 확보하는 데서 ControlNet의 역할을 확인할 수 있었다.
• 참조 이미지 배경을 마스킹 없이 사용할 경우 생성 품질에 악영향을 미쳐, 공간 인식 어텐션 메커니즘의 중요성을 입증했다.
• 자기 주제 어텐션 메커니즘은 훈련 없이 즉시 사용 가능한 구성 요소로서 추론 중 세부 정보 충실도를 크게 향상시키는 데 효과적이었다.