[논문 리뷰] DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

Nataniel Ruiz, Yuanzhen Li외 4명|arXiv (Cornell University)|2022. 08. 25.

Generative Adversarial Networks and Image Synthesis인용 수 108

한 줄 요약

DreamBooth는 몇 장의 대상 이미지를 사용해 프리트레인된 텍스트-투-이미지 확산 모델을 미묘한 고유 식별자에 바인딩하여 새로운 맥락의 렌더링에서 주체의 정체성을 보존하면서 맥락이 풍부한 렌더링을 가능하게 한다.

ABSTRACT

Large text-to-image models achieved a remarkable leap in the evolution of AI, enabling high-quality and diverse synthesis of images from a given text prompt. However, these models lack the ability to mimic the appearance of subjects in a given reference set and synthesize novel renditions of them in different contexts. In this work, we present a new approach for "personalization" of text-to-image diffusion models. Given as input just a few images of a subject, we fine-tune a pretrained text-to-image model such that it learns to bind a unique identifier with that specific subject. Once the subject is embedded in the output domain of the model, the unique identifier can be used to synthesize novel photorealistic images of the subject contextualized in different scenes. By leveraging the semantic prior embedded in the model with a new autogenous class-specific prior preservation loss, our technique enables synthesizing the subject in diverse scenes, poses, views and lighting conditions that do not appear in the reference images. We apply our technique to several previously-unassailable tasks, including subject recontextualization, text-guided view synthesis, and artistic rendering, all while preserving the subject's key features. We also provide a new dataset and evaluation protocol for this new task of subject-driven generation. Project page: https://dreambooth.github.io/

연구 동기 및 목표

• 몇 장의 이미지로 특정 주체를 모방하기 위해 텍스트-투-이미지 확산 모델을 어떻게 개인화하는지 다룬다.
• 주체에 고유 식별자를 바인딩하여 텍스트 프롬프트로 안내된 새로운 맥락에서 합성될 수 있도록 한다.
• 클래스 특화 선행 보존 손실로 미세 조정 과정에서의 언어 드리프트와 다양성 손실을 완화한다.
• 주체 충실도를 보존하면서 주체 재맥락화, 시점 합성 및 예술적 렌더링을 시연한다.
• 주체 기반 생성을 위한 데이터셋과 평가 프로토콜을 제공한다.

제안 방법

• 3-5장의 주체 이미지와 고유 식별자와 클래스 명사를 포함한 프롬프트를 함께 사용해 프리트레인된 확산 모델을 미세 조정한다 (예: “A [V] dog”).
• 일반 언어의 선행을 최소화하고 주체에 바인딩을 용이하게 하기 위해 주체를 희귀 토큰 식별자로 표현한다.
• 언어 드리프트를 방지하고 선행 다양성을 보존하기 위해 자체 생성 샘플로 모델을 감독하는 클래스 특화 선행 보존 손실을 사용한다.
• 적당한 반복 횟수(약 1000)와 작은 데이터 세트로 충실도를 극대화하고 다양한 출력을 가능하게 하기 위해 모델의 모든 층을 학습한다.
• DINO 및 CLIP-I로 주체 충실도를 평가하고 CLIP-T로 프롬프트 충실도를 평가하며, 베이스라인과의 비교를 포함하는 사용자 연구를 수행한다.
• 30개의 주체(사물 및 실물 피사체)와 25개의 프롬프트의 데이터세트를 제공하고 주체/프롬프트당 4장의 이미지를 사용해 총 약 3,000장의 이미지를 생성한다.

Figure 2 : Subject-driven generation. Given a particular clock (left), it is hard to generate it while maintaining high fidelity to its key visual features (second and third columns showing DALL-E2 [ 54 ] image-guided generation and Imagen [ 61 ] text-guided generation; text prompt used for Imagen:

실험 결과

연구 질문

• RQ1 확산 모델이 몇 장의 이미지에서 특정 주체로 개인화되면서도 기존의 사전 지식을 잃지 않을 수 있는가?
• RQ2 희귀 식별자 토큰을 주체에 바인딩하는 것이 새로운 맥락에서 충실하고 다양한 생성을 가능하게 하는가?
• RQ3 미세 조정 중 언어 드리프트를 방지하고 선행 다양성을 유지하는 데 있어 클래스 특화 선행 보존 손실의 효과는 얼마나 큰가?
• RQ4 주체 충실도와 프롬프트 충실도에서 DreamBooth가 기존 베이스라인보다 수치적 및 인간 평가 측면에서 얻는 이점은 무엇인가?
• RQ5 주체 기반 생성을 현실적으로 측정하는 데이터세트와 평가 프로토콜은 무엇인가?

주요 결과

• Imagen을 사용하는 DreamBooth가 Stable Diffusion을 사용하는 DreamBooth보다 주체 충실도와 프롬프트 충실도에서 더 높은 성과를 보이며 Textual Inversion보다 두 지표 모두에서 우수하다.
• 다수의 프롬프트에 대해 주체 충실도와 프롬프트 충실도에서 DreamBooth가 Textual Inversion보다 선호된다는 사용자 연구 결과가 있다.
• 자체 생성 선행 보존 손실은 언어 드리프트를 억제하고 선행 다양성을 유지하는 데 도움을 주어 더 다양한 주체 렌더링을 가능하게 한다.
• 제안된 손실로의 학습은 적절한 하드웨어에서 약 5분 안에 3-5 이미지 개인화를 효과적으로 가능하게 한다.
• DreamBooth는 주체의 정체성을 보존하면서 재맥락화, 새로운 시점 합성 및 속성 수정을 가능하게 한다.
• 향후 연구를 지원하기 위해 주체 기반 생성을 위한 새로운 데이터세트와 평가 프로토콜이 제공된다.

Figure 3 : Fine-tuning. Given $\sim 3-5$ images of a subject we fine-tune a text-to-image diffusion model with the input images paired with a text prompt containing a unique identifier and the name of the class the subject belongs to (e.g., “A [V] dog”), in parallel, we apply a class-specific prior