[논문 리뷰] ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

Viraj Shah, Nataniel Ruiz외 5명|ArXiv.org|2023. 11. 22.

Video Analysis and Summarization인용 수 5

한 줄 요약

ZipLoRA는 초과 조정이 필요하지 않고 최적화 기반의 방법을 통해 분리되어 훈련된 주제 및 스타일 LoRA를 원활하게 융합하는 방법을 제안한다. 이는 어떤 주제도 어떤 스타일로든 높은 정밀도로 생성할 수 있도록 한다. 가중치 행렬의 희소성과 열 기반 정렬을 활용하여 파괴적인 융합을 방지함으로써, 수동 조정 없이도 주제 및 스타일의 정밀도에서 최고 성능을 달성한다.

ABSTRACT

Methods for finetuning generative models for concept-driven personalization generally achieve strong results for subject-driven or style-driven generation. Recently, low-rank adaptations (LoRA) have been proposed as a parameter-efficient way of achieving concept-driven personalization. While recent work explores the combination of separate LoRAs to achieve joint generation of learned styles and subjects, existing techniques do not reliably address the problem; they often compromise either subject fidelity or style fidelity. We propose ZipLoRA, a method to cheaply and effectively merge independently trained style and subject LoRAs in order to achieve generation of any user-provided subject in any user-provided style. Experiments on a wide range of subject and style combinations show that ZipLoRA can generate compelling results with meaningful improvements over baselines in subject and style fidelity while preserving the ability to recontextualize. Project page: https://ziplora.github.io

연구 동기 및 목표

• 확산 모델을 사용하여 사용자가 제공한 주제를 사용자가 제공한 스타일로 생성하는 데 있어 열려 있는 문제를 해결하기 위해.
• 기존의 LoRA 융합 방법은 주로 주제나 스타일의 정밀도를 훼손하고, 광범위한 초과 조정이 필요하기 때문에 이를 극복하기 위해.
• 훈련 방법에 제약 없이 독립적으로 훈련된 주제 및 스타일 LoRA를 견고하고 일관적으로 융합할 수 있도록 하기 위해.
• 융합 후에도 각 LoRA의 개별 생성 능력을 유지하여 Mixture-of-Experts로 활용할 수 있도록 하기 위해.
• 다이나믹한 주제-스타일 조합이 필요한 창의적 응용 프로그램을 위한 경량적이고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• ZipLoRA는 각 LoRA 가중치 행렬의 열에 대해 융합 계수를 최적화 기반으로 계산하여, 높이 정렬된 열을 직접 합산하는 것을 피한다.
• 코사인 유사도 기반으로 주제 및 스타일 LoRA 간에 상호 간섭을 최소화하는 분리된 열 집합을 식별한다.
• LoRA 가중치 행렬의 희소성(대부분의 원소가 무시할 만큼 작은 크기)을 활용하여 의미 있는 파rameter 업데이트에 집중한다.
• 최적화 과정은 경량이며 초과 조정이 필요 없어 다양한 주제-스타일 조합에서 일관된 성능을 보장한다.
• 융합된 LoRA는 새로운 프롬프트에서 주제를 재구성할 수 있는 능력과 함께 스타일화 품질을 유지한다.
• 선택적 스칼라 승수를 통해 재훈련 없이도 스타일화 강도를 제어할 수 있다.

Figure 2 : LoRA weight matrices are sparse. Most of the elements in $\Delta W$ have a magnitude very close to zero, and can be conveniently thrown away without affecting the generation quality of the fine-tuned model.

실험 결과

연구 질문

• RQ1 독립적으로 훈련된 주제 및 스타일 LoRA를 융합할 수 있는가? 이때 주제나 스타일의 정밀도가 손상되지 않는가?
• RQ2 초과 조정이 없는 방법이 다양한 주제-스타일 조합에서 일관되고 고성능의 융합을 달성할 수 있는가?
• RQ3 최적화 기반 융합 전략이 직접 선형 조합보다 콘텐츠와 스타일을 더 잘 유지하는가?
• RQ4 융합된 LoRA가 원래 LoRA의 개별 생성 능력을 유지할 수 있는가?
• RQ5 단일 스칼라 가중치 조정을 통해 부드럽고 제어 가능한 스타일화를 달성할 수 있는가?

주요 결과

• 사용자 선호도 연구에서 ZipLoRA는 모든 세 가지 비교 케이스에서 직접 융합 및 공동 훈련보다 높은 승인률을 기록하여 모든 베이스라인을 압도했다.
• 정량적 지표 분석에서 ZipLoRA는 직접 융합보다 유의미하게 높은 주제 일치 점수를 기록했으며, 스타일 일치 점수는 경쟁 수준이었으며, 이는 뛰어난 주제 정밀도를 의미한다.
• 메트릭 분석 결과, ZipLoRA는 강력한 텍스트 일치 점수를 유지하여 기반 모델의 프롬프트 따르기 능력을 유지하면서도 스타일 및 주제 표현 능력을 향상시켰다.
• ZipLoRA는 직접 융합과 달리 원래 주제와 스타일을 개별적으로 생성할 수 있는 능력을 성공적으로 유지했다.
• 최적화 기반 접근법을 통해 재훈련 없이도 단일 스칼라 승수를 통해 부드럽고 제어 가능한 스타일화를 달성했으며, 스타일화 강도를 0에서 1 사이로 다양하게 조절할 수 있었다.
• SDXL에서의 실험을 통해 ZipLoRA는 다양한 주제-스타일 조합에서 높은 품질의 일반화된 개인화를 가능하게 했다.

Figure 3 : Highly aligned LoRA weights merge poorly. When LoRA weight columns are highly aligned, a direct merge obtains subpar results. Instead, our approach minimizes the mean cosine similarity between the columns of the LoRA updates across the layers.