[논문 리뷰] Spanning the Visual Analogy Space with a Weight Basis of LoRAs

Hila Manor, Rinon Gal외 3명|arXiv (Cornell University)|2026. 02. 17.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

LoRWeB는 LoRA 어댑터의 기저를 학습하고 추론 시 이를 동적으로 구성하여 시각적 유추 편집을 유연하게 수행하며, unseen 변환에 대한 최첨단 일반화를 달성합니다.

ABSTRACT

Visual analogy learning enables image manipulation through demonstration rather than textual description, allowing users to specify complex transformations difficult to articulate in words. Given a triplet $\{\mathbf{a}$, $\mathbf{a}'$, $\mathbf{b}\}$, the goal is to generate $\mathbf{b}'$ such that $\mathbf{a} : \mathbf{a}' :: \mathbf{b} : \mathbf{b}'$. Recent methods adapt text-to-image models to this task using a single Low-Rank Adaptation (LoRA) module, but they face a fundamental limitation: attempting to capture the diverse space of visual transformations within a fixed adaptation module constrains generalization capabilities. Inspired by recent work showing that LoRAs in constrained domains span meaningful, interpolatable semantic spaces, we propose LoRWeB, a novel approach that specializes the model for each analogy task at inference time through dynamic composition of learned transformation primitives, informally, choosing a point in a "space of LoRAs". We introduce two key components: (1) a learnable basis of LoRA modules, to span the space of different visual transformations, and (2) a lightweight encoder that dynamically selects and weighs these basis LoRAs based on the input analogy pair. Comprehensive evaluations demonstrate our approach achieves state-of-the-art performance and significantly improves generalization to unseen visual transformations. Our findings suggest that LoRA basis decompositions are a promising direction for flexible visual manipulation. Code and data are in https://research.nvidia.com/labs/par/lorweb

연구 동기 및 목표

• 시각적 유추 학습을 텍스트가 아닌 시연을 통해 복잡한 이미지 편집을 달성하는 수단으로 제시한다.
• LoRA의 기저를 통해 의미 공간을 확장하여 단일 LoRA 어댑터의 한계를 극복한다.
• 입력 어유니(Analog) 쌍에 따라 LoRA를 선택하고 가중치를 두는 동적 추론 시점 메커니즘을 개발한다.
• 미지의 아날로지에 적합한 변환을 구성하도록 공동으로 학습된 기저와 라우터를 학습한다.
• 다양한 시각적 아날로지에서 일반화 및 편집 충실도의 향상을 입증한다.

제안 방법

• 다양한 시각적 변환을 포괄하기 위해 N rank-r LoRA의 학습 가능한 기저를 도입한다.
• 각 LoRA 쌍을 학습 가능한 키 벡터와 연결하고 입력 삼항 ${a},{a'},${b}$에서 쿼리를 생성하기 위해 인코더를 사용한다.
• 쿼리와 LoRA 키의 내적에 대한 소프트맥스(dot product)으로 혼합 계수를 계산하여 Mixed LoRA를 생성한다.
• Mixed LoRA를 조건부 확산/유동 모델(Flux.1-Kontext)에 주입하여 새로운 이미지 ${b}$에 대한 ${b'}$를 생성한다.
• 조합이 보이지 않는 유추에도 일반화되도록 LoRA 기저와 인코더를 공동으로 학습한다.
• Conditioning 이미지를 CLIP으로 인코딩하고 확장-attention 메커니즘을 통해 확장된 아날로지 삼항을 확산 모델에 제공하여 세부 편집을 수행한다.

실험 결과

연구 질문

• RQ1 LoRA의 기저가 학습 중에 본 것 이외의 보이지 않는 시각적 아날로지에 일반화될 수 있는가?
• RQ2 입력 의존적 다중 LoRA 혼합이 단일 LoRA 기준선 대비 이미지 디테일 보존 및 적용 변환의 정확성을 개선하는가?
• RQ3 LoRWeB가 일반화, 편집 정확도, 콘텐츠 보존 측면에서 기존의 유추 방법과 어떻게 비교되는가?
• RQ4 기저 크기와 LoRA 랭크가 성능 및 일반화에 미치는 영향은 무엇인가?
• RQ5 전체 아날로지 삼항과 확장된 주의(attention) conditioning이 LoRA 선택에 충분한가, 아니면 CLIP 기반 인코딩만으로도 충분한가?

주요 결과

• LoRWeB는 단일 LoRA 기준선 및 이전 방법에 비해 보이지 않는 유추 작업에서 일반화가 향상되었다.
• 학습 가능한 LoRA 기저와 경량 인코더가 동적 혼합을 통해 광범위한 변환을 효과적으로 커버할 수 있다.
• 정량적 평가와 인간 평가가 LoRWeB가 입력 콘텐츠를 더 잘 보존하면서도 다양한 작업에서 정확한 편집을 달성함을 시사한다.
• 더 큰 기저(N)와 적절한 랭크(r)는 성능에 중요하지만, 기저 다변화 없이 랭크를 naive하게 증가시키면 성능이 저하될 수 있다.
• 확장된 주의(attention)가 포함된 전체 아날로지 삼항 사용은 편집 중 미세한 디테일을 유지하는 데 도움이 된다.
• CLIP을 포함한 다양한 인코더(SigLIP을 포함)로 견고한 결과를 얻을 수 있으며, a, a', b를 분리 인코딩하는 인코더 설계가 작업 이해에 도움이 된다.