[논문 리뷰] Encoder-based Domain Tuning for Fast Personalization of Text-to-Image Models

Rinon Gal, Moab Arar외 4명|arXiv (Cornell University)|2023. 02. 23.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 단일 이미지와 최소한의 미세조정을 통해 11초 이내로 텍스트-이미지 확산 모델의 일방적 개인화를 가능하게 하는 인코더 기반 도메인 튜닝 방법을 제안한다. 대규모 도메인 특화 데이터셋에서 개념 인코더와 정규화된 웨이트 오프셋을 함께 훈련시킴으로써, 빠르고 고해상도의 개인화를 달성하면서도 정체성 유지 및 저장 비용 절감을 실현한다.

ABSTRACT

Text-to-image personalization aims to teach a pre-trained diffusion model to reason about novel, user provided concepts, embedding them into new scenes guided by natural language prompts. However, current personalization approaches struggle with lengthy training times, high storage requirements or loss of identity. To overcome these limitations, we propose an encoder-based domain-tuning approach. Our key insight is that by underfitting on a large set of concepts from a given domain, we can improve generalization and create a model that is more amenable to quickly adding novel concepts from the same domain. Specifically, we employ two components: First, an encoder that takes as an input a single image of a target concept from a given domain, e.g. a specific face, and learns to map it into a word-embedding representing the concept. Second, a set of regularized weight-offsets for the text-to-image model that learn how to effectively ingest additional concepts. Together, these components are used to guide the learning of unseen concepts, allowing us to personalize a model using only a single image and as few as 5 training steps - accelerating personalization from dozens of minutes to seconds, while preserving quality.

연구 동기 및 목표

• 긴 시간의 미세조정과 다수의 이미지를 요구하는 기존 텍스트-이미지 개인화 방법의 높은 계산 및 저장 비용을 해결한다.
• 새로운 개념에 대해 일반화된, 도메인 인식 초기화를 학습하여 정체성 붕괴 및 배경 세부 정보에 대한 과적합을 방지한다.
• 단일 이미지와 최소한의 훈련 단계만으로 동일 도메인의 새로운 개념을 신속히 개인화할 수 있도록 한다.
• 반복 인코더와 학습 가능한 웨이트 오프셋을 결합한 공동 학습 프레임워크를 도입하여 일반화 및 편집 가능성 향상.
• 각 새로운 정체성에 대해 별도의 모델 체크포인트를 요구하지 않고 추론 시 개인화를 가능하게 하여 구현 오버헤드 감소.

제안 방법

• 노이즈 제거 단계 동안 반복 보정을 통해 단일 입력 이미지에서 목표 개념을 단어 임베딩 표현으로 매핑하는 전용 인코더 네트워크를 훈련한다.
• 모델 전체를 미세조정하는 대신, 텍스트-이미지 모델의 어텐션 프로젝션 행렬에 대해 저랭크이고 정규화된 웨이트 오프셋을 학습하기 위해 하이퍼넷 기반 접근법을 사용한다.
• 대규모 도메인 특화 데이터셋(예: 얼굴용 FFHQ, 고양이용 LSUN Cats)에서 인코더와 웨이트 오프셋을 공동으로 사전 훈련하여 강력하고 도메인 인식 초기화를 확립한다.
• 추론 시, 단일 새로운 개념 이미지에 대해 단일 A100 GPU에서 오직 5개의 훈련 단계만으로 인코더와 웨이트 오프셋을 미세조정한다.
• 반복 인코더를 활용해 각 단계에서 노이즈 제거 과정을 관찰함으로써 동적 보정이 가능하고 목표 개념과의 정렬도 향상된다.
• 하이퍼넷을 통해 부드러움 우선순위를 적용하여 오프셋 공간을 제약하고, 부정확한 이미지 세부 정보에 대한 과적합 방지.

실험 결과

연구 질문

• RQ1 단일 이미지 개인화 방법이 최소한의 훈련 시간과 저장 비용으로 고해상도 결과를 달성할 수 있는가?
• RQ2 사전 훈련된 모델이 과적합 없이 동일 도메인의 새로운 개념을 일반화할 수 있도록 초기화하는 방법은 무엇인가?
• RQ3 반복 인코더 보정이 확산 과정 중 임베딩 품질과 개념 일관성에 얼마나 기여하는가?
• RQ4 인코더와 웨이트 오프셋의 공동 사전 훈련이 전체 모델 재학습 없이도 빠른 추론 시 개인화를 가능하게 하는가?
• RQ5 얼굴 데이터셋에서 훈련한 모델이 도메인 외 개념(예: 나무 장난감)에 적용될 경우 도메인 일반화의 한계는 어디까지인가?

주요 결과

• 단일 A100 GPU에서 개인화 시간을 수십 분에서 단 11초로 단축하여 이전 방법 대비 60배~140배의 속도 향상 달성.
• 오직 5개의 훈련 단계와 단일 이미지만으로 다양한 프롬프트에서 고해상도이자 정체성 유지 개인화 생성 가능.
• 반복 인코더는 노이즈 제거 전반에 걸쳐 실제 단어 도메인에 가까운 임베딩 유지로 과적합 감소 및 편집 가능성 향상.
• 도메인 내 일반화 성능이 뛰어남: 고양이 모델로 훈련된 개 개인화도 고품질 결과 도출 가능하나, 거리가 먼 도메인에서는 성능 저하.
• 얼굴 또는 고양이 데이터셋에서 훈련된 모델을 사용할 경우 나무 장난감과 같은 도메인 외 개념의 개인화 실패로 도메인 특화 한계 명확.
• 공동 사전 훈련으로 인한 강력한 사전 지식 덕분에 단일 이미지에서의 미세조정 시에도 모델 품질 유지 및 정체성 붕괴 방지 가능.