[논문 리뷰] Key-Locked Rank One Editing for Text-to-Image Personalization

Yoad Tewel, Rinon Gal외 2명|arXiv (Cornell University)|2023. 05. 02.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

퍼퓨전은 텍스트-이미지 개인화를 위한 키-잠금된 랭크-1 편집 방법을 도입하여, 개념당 100KB의 소형 모델로도 높은 시각적 정밀도와 강한 텍스트 정렬 성능을 달성한다. 개념 키를 초개별 임베딩에 고정하고, 값 투영에 게이팅된 랭크-1 업데이트를 적용함으로써 런타임에서 개념 영향력 제어가 가능해지고, 다중 개념 조합이 가능하며, 재학습 없이도 정밀도-정렬 균형의 파레토 최적선을 커버한다.

ABSTRACT

Text-to-image models (T2I) offer a new level of flexibility by allowing users to guide the creative process through natural language. However, personalizing these models to align with user-provided visual concepts remains a challenging problem. The task of T2I personalization poses multiple hard challenges, such as maintaining high visual fidelity while allowing creative control, combining multiple personalized concepts in a single image, and keeping a small model size. We present Perfusion, a T2I personalization method that addresses these challenges using dynamic rank-1 updates to the underlying T2I model. Perfusion avoids overfitting by introducing a new mechanism that "locks" new concepts' cross-attention Keys to their superordinate category. Additionally, we develop a gated rank-1 approach that enables us to control the influence of a learned concept during inference time and to combine multiple concepts. This allows runtime-efficient balancing of visual-fidelity and textual-alignment with a single 100KB trained model, which is five orders of magnitude smaller than the current state of the art. Moreover, it can span different operating points across the Pareto front without additional training. Finally, we show that Perfusion outperforms strong baselines in both qualitative and quantitative terms. Importantly, key-locking leads to novel results compared to traditional approaches, allowing to portray personalized object interactions in unprecedented ways, even in one-shot settings.

연구 동기 및 목표

• 텍스트-이미지 개인화에서 과적합 문제, 특히 어텐션 '어디서' 경로(키)에서 발생하는 문제를 해결함으로써 텍스트 정렬 성능과 일반화 능력을 향상시키기 위해.
• 최신 기술 대비 다섯 자리 수준으로 작은 모델 크기 유지하면서도 높은 시각적 정밀도와 강한 텍스트 정렬 성능을 달성하기 위해.
• 제어 가능한 게이팅 메커니즘을 통해 런타임에서 시각적 정밀도와 텍스트 정렬 간의 균형을 동적으로 조절할 수 있도록 하기 위해.
• 다양한 독립적으로 학습된 개념을 하나의 프롬프트에 조합할 수 있도록 하여, 복잡한 상호작용까지 가능하게 하기 위해.
• 초개별 기반 키-잠김을 통해 일회성 개인화에서 더 높은 강건성과 일반화 능력을 확보하기 위해.

제안 방법

• 개념 키를 초개별의 키에 고정하는 키-잠김 메커니즘을 도입하여(예: '테디베어'는 '테디'에 고정됨), 특정 공간 레이아웃에 대한 과적합을 방지한다.
• 값 투영을 확장된 잠재 공간으로 간주하고, 입력 단어 임베딩과 함께 공동 최적화하여 시각적 외형을 인코딩한다.
• K 및 V 투영 행렬에 게이팅된 랭크-1 업데이트를 적용하여 추론 시 개념 업데이트의 선택적 적용을 가능하게 한다.
• 추론 시 개념 영향력 강도를 제어하는 게이팅 메커니즘을 사용하여, 재학습 없이도 런타임에서 시각적 정밀도와 텍스트 정렬 간의 균형 조절이 가능하다.
• 이중 경로 어텐션 구조를 적용: 키는 '어디서'(공간 레이아웃), 값은 '무엇을'(시각적 외형)으로 간주하며, 개인화는 주로 '무엇을' 경로에 집중한다.
• 학습 안정성 향상과 정렬 성능 향상을 위해 복구 프롬프트를 사용하며, 특히 초개별 키-잠김과 결합 시 효과적이다.

실험 결과

연구 질문

• RQ1 개념의 크로스 어텐션 키를 초개별에 고정함으로써 과적합을 줄이고 텍스트 정렬 성능을 향상시킬 수 있는가?
• RQ2 게이팅된 랭크-1 업데이트 메커니즘이 런타임에서 개념 영향력 제어를 가능하게 하고, 텍스트-이미지 생성에서 다중 개념 조합을 지원할 수 있는가?
• RQ3 100KB 모델이 전체 미세조정 방법과 비교해 유사한 성능을 내면서도 높은 시각적 정밀도와 정렬 성능 유지를 할 수 있는가?
• RQ4 키-잠김이 일회성 또는 제로샷 설정에서 학습 동역학과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 기본 디퓨전 모델에서 학습한 개념들이 미세조정된 버전인 InkPunk-v2나 Protogen-v3.4로도 이식 가능한가?

주요 결과

• 퍼퓨전은 개념당 100KB의 소형 모델로도 높은 시각적 정밀도와 강한 텍스트 정렬 성능을 달성하며, 최신 기술 대비 다섯 자리 수준으로 작다.
• 키-잠김은 어텐션 '어디서' 경로에서의 과적합을 크게 줄여주며, 기준선 대비 텍스트 정렬 점수 향상을 이룬다.
• 게이팅된 랭크-1 업데이트를 통해 재학습 없이도 런타임에서 시각적 정밀도와 텍스트 정렬 간의 균형 조절이 가능하다.
• 퍼퓨전은 하나의 프롬프트 안에서 독립적으로 학습된 다중 개념의 조합을 지원하며, 예를 들어 테디베어가 티포트를 든 모습 같은 새로운 상호작용을 가능하게 한다.
• 이 방법은 미세조정된 디퓨전 모델(InkPunk-v2, Protogen-v3.4 등)으로도 일반화 가능하며, 제로샷 전이 능력을 입증한다.
• 일회성 학습 시 성능 저하가 미미하며, 복구 프롬프트가 학습 동역학을 안정화시켜 시각적 정밀도를 향상시킨다.