[논문 리뷰] SVDiff: Compact Parameter Space for Diffusion Fine-Tuning

Ligong Han, Yinxiao Li외 4명|arXiv (Cornell University)|2023. 03. 20.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

SVDiff는 가중치 행렬의 특이값을 업데이트하여 확산 모델을 미세 조정하는 방식으로 매개변수 공간을 축소하고, 전체 파인튜닝과 견줄 만하거나 이를 능가하는 성능을 달성하면서 다중 주체 생성과 단일 이미지 편집의 강건성을 가능하게 합니다. 또한 Cut-Mix-Unmix 데이터 증강을 도입해 다중 개인화된 개념 간의 해 disentanglement를 개선합니다.

ABSTRACT

Diffusion models have achieved remarkable success in text-to-image generation, enabling the creation of high-quality images from text prompts or other modalities. However, existing methods for customizing these models are limited by handling multiple personalized subjects and the risk of overfitting. Moreover, their large number of parameters is inefficient for model storage. In this paper, we propose a novel approach to address these limitations in existing text-to-image diffusion models for personalization. Our method involves fine-tuning the singular values of the weight matrices, leading to a compact and efficient parameter space that reduces the risk of overfitting and language drifting. We also propose a Cut-Mix-Unmix data-augmentation technique to enhance the quality of multi-subject image generation and a simple text-based image editing framework. Our proposed SVDiff method has a significantly smaller model size compared to existing methods (approximately 2,200 times fewer parameters compared with vanilla DreamBooth), making it more practical for real-world applications.

연구 동기 및 목표

• 텍스트-이미지 확산 모델의 효율적 개인화를 촉진한다.
• 가중치 행렬의 특이값을 미세조정하여 컴팩트한 매개변수 공간을 제시한다(스펙트럴 시프트).
• 다중 주체 학습의 disentanglement를 개선하기 위한 데이터 증강을 도입한다(Cut-Mix-Unmix).
• 스펙트럴 시프트를 활용한 편집 프레임워크 CoSINE을 제시하고 텍스트 기반 단일 이미지 편집을 가능하게 한다.
• 전체 파인튜닝에 비해 훨씬 적은 매개변수로도 강력한 성능을 보인다를 입증한다.

제안 방법

• 사전 학습된 확산 모델의 가중치 행렬에 대해 SVD를 계산하고 U와 V를 유지하며 대각 Sigma_delta에 대한 스펙트럴 시프(delta)를 학습한다.
• 가중치 행렬을 W_delta = U Diag(ReLU(sigma + delta)) V^T로 업데이트한다.
• prior 데이터가 있을 때 업데이트를 정규화하기 위해 가중된 prior-preservation 손실로 학습한다(lambda에 따라 가변).
• independently 학습된 스펙트럴 시프를 덧셈이나 보간을 통해 새로운 모델로 결합하여 스타일 전이 및 다중 주체 생성을 가능하게 한다.
• Cut-Mix-Unmix 데이터 증강을 적용하여 모델이 여러 개념을 명시적으로 disentangle하도록 학습한다.
• 스펙트럴 시프트를 편집에 사용하는 단일 이미지 편집 프레임워크 CoSINE을 제공하고 적절한 경우 DDIM 역전(inversion)을 사용하여 정렬성을 개선한다.

실험 결과

연구 질문

• RQ1 단일 주체 확산 개인화에서 전체 파인튜닝에 필적하는 컴팩트한 스펙트럴 시프트 매개변수 공간이 가능할까?
• RQ2 스펙트럴 시프트 미세 조정이 다중 주체 생성에 강건함을 부여하고 언어 드리프트를 감소시킬 수 있을까?
• RQ3 Cut-Mix-Unmix 증강이 여러 개념을 학습할 때 disentanglement를 개선할 수 있을까?
• RQ4 스펙트럴 시프트로 실현 가능한 텍스트 기반 편집 파이프라인(CoSINE)이 단일 이미지 편집을 안정적으로 가능하게 할까?
• RQ5 스펙트럴 시프트 미세 조정이 성능과 저장 공간 측면에서 LoRA와 어떻게 비교되는가?

주요 결과

부분	저장(KB)	메모
UNet(모든 UNet 계층)	1404	전체 UNet 미세 조정 부분
UNet-CA(크로스-어텐션)	194	UNet의 크로스-어탠션 계층
UNet-CA-KV(크로스-어탠션의 K/V)	84.8	크로스 어탠션의 W^K 및 W^V
UNet-1D(1-D 가중치)	430	UNet의 모든 1-D 가중치
UNet-2D(2-D 가중치)	617	UNet의 모든 2-D 가중치
UNet-4D(4-D 가중치)	355	UNet의 모든 4-D 가중치
Up-Blocks	789	UNet의 업-블록
Down-Blocks	469	UNet의 다운-블록
Mid-Block	135	UNet의 중간 블록
Up-CA	106	업-블록의 크로스-어텐션
Down-CA	70.4	다운-블록의 크로스-어텐션
Mid-CA	17.7	중간 블록의 크로스-어텐션

• SVDiff는 일반적인 DreamBooth 대비 약 2,200배 적은 매개변수로도 단일 주체 생성에서 유사한 결과를 달성한다.
• Cut-Mix-Unmix 증강이 유사한 개념 간 스타일 혼합을 줄여 다중 주체 생성의 품질을 향상시킨다.
• 스펙트럴 시프트 미세 조정은 다중 주체 시나리오에서 전체 가중치 미세 조정보다 주체 정체성을 더 잘 보존하는 경향이 있다.
• 이 접근법은 편집에 대한 간단한 텍스트 기반 이미지 편집 프레임워크(CoSINE)를 가능하게 하며 DDIM 역전에서 많은 경우 편집의 정렬성을 유지한다.
• LoRA와 비교할 때 SVDiff는 더 작은 delta 체크포인트와 현실성 대비 충실도에서 균형을 이루며, 특정 구성에서 차원 1 저장 이점을 제공한다.
• Table 1은 UNet 매개변수의 미세 조정된 부분의 저장 용량을 17.7 KB에서 1,404 KB까지 보여주며 스펙트럴 시프트 접근법의 컴팩트를 시사한다.