[論文レビュー] Effective LoRA Adapter Routing using Task Representations

Akash Shamrao Dhasade, Anne-Marie Kermarrec+5 more|arXiv (Cornell University)|Jan 29, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

LoRAuter は、タスク表現を用いて LoRA アダプターを選択・融合する訓練不要のルーティングフレームワークであり、Oracle に似たドメイン内性能と強力なドメイン外一般化を達成し、1500 を超えるアダプターへスケール可能。

ABSTRACT

Low-rank adaptation (LoRA) enables parameter efficient specialization of large language models (LLMs) through modular adapters, resulting in rapidly growing public adapter pools spanning diverse tasks. Effectively using these adapters requires routing: selecting and composing the appropriate adapters for a query. We introduce LORAUTER, a novel routing framework that selects and composes LoRA adapters using task representations rather than adapter characteristics. Unlike existing approaches that map queries directly to adapters, LORAUTER routes queries via task embeddings derived from small validation sets and does not require adapter training data. By operating at the task level, LORAUTER achieves efficient routing that scales with the number of tasks rather than the number of adapters. Experiments across multiple tasks show that LORAUTER consistently outperforms baseline routing approaches, matching Oracle performance (101.2%) when task-aligned adapters exist and achieving state-of-the-art results on unseen tasks (+5.2 points). We further demonstrate the robustness of LORAUTER to very large, noisy adapter pools by scaling it to over 1500 adapters.

研究の動機と目的

• 大規模 LoRA アダプタプールに対して、アダプタ訓練データへアクセスせずに効率的なルーティングを動機づける。
• ブラックボックス設定で動作する、タスク表現主導のルーティングフレームワークを提案する。
• タスクレベルでのルーティングはアダプタ数ではなくタスク数とともにスケールすることを示す。
• 公開ソースからの大規模でノイズの多いアダプタプールへスケールした場合の堅牢性と拡張性を示す。

提案手法

• 軽量な検証セット D_i を持つ小規模で代表的なタスクデータベースを T タスク分構築する。
• 各タスク t_i をプール Φ の中の最適なマッチングアダプター φ に、トーナメントベースの探索（例：Successive Halving）でマップする。
• 固定の指示で検証クエリの一部をエンコードしてタスクを埋め込み表現 e_i を得ることでタスクを埋め込みとして表現する。
• 推論時に入力 x を e_x に埋め込み、コサイン類似度で上位 K 個の類似タスクを取得し、事前定義のタスク-to-adapter マッピング M からアダプターを得る。
• 出力空間でトップ-K アダプターを入力依存の融合で組み合わせる： h' = Wx + sum_i w_i B_i A_i x、重み w_i はタスク確率 p_i から導出される。
• 訓練不要のブラックボックス設定で作動し、コサイン類似度のソフトマックスによるタスク親和性の確率的解釈を用いる。

Figure 1: The LoRAuter framework.

実験結果

リサーチクエスチョン

• RQ1 タスク表現はアダプタ訓練データがなくても LoRA アダプタのルーティングに有効に導くことができるか？
• RQ2 タスクベースのルーティングは、ドメイン内とドメイン外のシナリオでベースライン手法と比較してどの程度性能を発揮するか？
• RQ3 公開ソースから取得した大規模でノイズの多いアダプタプールへスケールできるか？
• RQ4 取得と統合が全体性能に与える影響はどうか、複数アダプターを組み合わせることはOOD入力に有効か？
• RQ5 真のタスクラベルが利用不能な場合、疑似タスク（クラスタリング表現）はどれほど有効か？

主な発見

• LoRAuter は Llama2-7B の非OOD設定で Oracle タスク整列性能の 101.2% を達成し、場合によっては Oracle を上回る。
• OOD 設定では LoRAuter が 88.4%（7B）および 86.8%（13B）を達成し、最も強力なベースラインより 5.2 ポイント高い。
• LoRAuter は 大規模アダプタプール（1500+）へスケール可能で、比較的小規模の精選プール（84.0-89.6% のレンジ）と比べても競争力のある性能。
• 取得と統合コンポーネントは性能へ加法的に寄与し、両方を使用すると最良の結果になる（例：7B の非OOD で 101.2%）。
• 半OOD 設定と利用可能な検証データがある場合、LoRAuter は 92.7%（7B）および 91.1%（13B）へ向上し、ベースラインより優位性を維持。
• Successive Halving を用いるとアダプタ評価コストを uniform 評価の2倍以上削減し、スケーラブルなルーティングを実現。

Figure 2: Average normalized performance of different routing methods on non-OOD and OOD tasks for both models.