[논문 리뷰] Effective LoRA Adapter Routing using Task Representations

Akash Shamrao Dhasade, Anne-Marie Kermarrec외 5명|arXiv (Cornell University)|2026. 01. 29.

Advanced Neural Network Applications인용 수 0

한 줄 요약

LoRAuter는 LoRA 어댑터를 선택하고 융합하기 위해 작업 표현을 활용하는 학습 없는 라우팅 프레임워크로, 오라클과 유사한 도메인 내 성능과 강력한 도메인 외 일반화 성능을 달성하며, 1500개 이상의 어댑터로 확장 가능하다.

ABSTRACT

Low-rank adaptation (LoRA) enables parameter efficient specialization of large language models (LLMs) through modular adapters, resulting in rapidly growing public adapter pools spanning diverse tasks. Effectively using these adapters requires routing: selecting and composing the appropriate adapters for a query. We introduce LORAUTER, a novel routing framework that selects and composes LoRA adapters using task representations rather than adapter characteristics. Unlike existing approaches that map queries directly to adapters, LORAUTER routes queries via task embeddings derived from small validation sets and does not require adapter training data. By operating at the task level, LORAUTER achieves efficient routing that scales with the number of tasks rather than the number of adapters. Experiments across multiple tasks show that LORAUTER consistently outperforms baseline routing approaches, matching Oracle performance (101.2%) when task-aligned adapters exist and achieving state-of-the-art results on unseen tasks (+5.2 points). We further demonstrate the robustness of LORAUTER to very large, noisy adapter pools by scaling it to over 1500 adapters.

연구 동기 및 목표

• 어댑터 학습 데이터에 접근하지 못한 상태에서 대형 LoRA 어댑터 풀에 대한 효율적 라우팅을 제안한다.
• 블랙박스 설정에서 작동하는 작업 표현 기반 라우팅 프레임워크를 제안한다.
• 라우팅이 어댑터의 수가 아니라 작업의 수와 함께 확장된다는 것을 입증한다.
• 공개 소스에서 얻은 크고 노이즈가 있는 어댑터 풀에 규모 확장 시에도 견고성과 확장성을 보여준다.

제안 방법

• 작은 대표 작업 데이터베이스를 구성하고 T개의 작업에 대해 경량 검증 집합(D_i)을 만든다.
• 각 작업 t_i를 풀 Phi의 최적 매칭 어댑터 phi로 토너먼트 기반 탐색(예: Successive Halving)으로 매핑한다.
• 일부 검증 쿼리를 고정된 지시와 함께 인코딩하여 작업을 임베딩으로 표현한 뒤, 작업 임베딩 e_i를 계산한다.
• 추론 시 입력 x를 e_x로 임베딩하고 코사인 유사도로 상위-K의 유사 작업을 검색한 뒤, 미리 정의된 작업-어댑터 매핑 M을 통해 해당 어댑터를 얻는다.
• 출력 공간에서 입력 인식 융합을 사용해 상위-K 어댑터를 합성한다: h' = Wx + sum_i w_i B_i A_i x, 가중치 w_i는 작업 확률 p_i에서 도출된다.
• 학습 없이 블랙박스 설정으로 작동하고 코사인 유사도의 소프트맥스으로 작업 친화도(affinities)의 확률적 해석을 사용한다.

Figure 1: The LoRAuter framework.

실험 결과

연구 질문

• RQ1 작업 표현이 어댑터 학습 데이터 없이 LoRA 어댑터의 라우팅을 효과적으로 이끌 수 있는가?
• RQ2 도메인 내/도메인 외 시나리오에서 작업 기반 라우팅이 기준 방법과 비교해 얼마나 잘 작동하는가?
• RQ3 공개 소스에서 수집된 크고 노이즈가 있는 어댑터 풀에 이 방법이 확장되는가?
• RQ4 검색과 구성의 전반적 성능에 대한 영향은 무엇이며, 다중 어댑터를 구성하는 것이 OOD 입력에 이득이 되는가?
• RQ5 참된 작업 라벨이 사용할 수 없을 때 의사 작업(클러스터링 표현)의 효과는 얼마나 되는가?

주요 결과

• LoRAuter는 Llama2-7B에서 비-OOD 설정에서 Oracle 작업-정렬 성능의 101.2%를 달성했으며, 경우에 따라 Oracle에 필적하거나 이를 능가한다.
• OOD 설정에서 LoRAuter는 88.4%(7B)와 86.8%(13B)에 도달하여 가장 강한 baseline보다 5.2% 포인트 높다.
• LoRAuter는 큰 어댑터 풀(1500+ )로 확장되며, 설정에 따라 84.0-89.6% 범위인 더 작은 큐레이션 풀과 비교해 경쟁력 있는 성능을 보인다.
• 검색 및 구성 구성요소가 성능에 가법적으로 기여하며, 둘 다 사용할 때 최상의 결과를 낳는다(예: 7B에서 비-OOD의 101.2%).
• semi-OOD 설정과 이용 가능한 검증 데이터가 있을 때 LoRAuter는 92.7%(7B)와 91.1%(13B)로 향상되어 기준보다 우월함을 유지한다.
• Successive Halving을 사용하면 균일 평가에 비해 어댑터 평가 비용이 2배 이상 감소하여 확장 가능한 라우팅을 가능하게 한다.

Figure 2: Average normalized performance of different routing methods on non-OOD and OOD tasks for both models.