[論文レビュー] MoLoRA: Composable Specialization via Per-Token Adapter Routing

Shrey Shah, Justin Wagle|arXiv (Cornell University)|Mar 16, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

MoLoRA はトークン単位のルーティングを導入し、複数のドメイン専用 LoRA アダプタへトークンをルーティングして構成可能な専門化を実現し、より大きなモデルよりも小さなモデルで高い性能を発揮します。K-fold パス削減を達成し、システム最適化とともに大規模なスループットとサブミリ秒未満の待機時間を実現します。

ABSTRACT

Multi-adapter serving systems route entire sequences to a single adapter, forcing a choice when requests span multiple domains. This assumption fails in two important settings: (1) multimodal generation, where text and image tokens require different adapters within the same sequence, and (2) mixed-capability requests like "write code to solve this equation," which need expertise from multiple specialized adapters. We introduce per-token routing, which routes individual tokens to adapters based on either vocabulary structure (for multimodal models) or learned gating (for semantic specialization). Per-token routing is provably optimal, achieving work N for N tokens versus K \cdot N for per-sequence routing with K adapter types. Our key contribution is MoLoRA (Mixture of LoRA), which enables composable specialization: load multiple domain-specific adapters and let a learned router select the appropriate adapter per-token. We demonstrate that specialization dramatically beats scale: MoLoRA enables Qwen3-1.7B to exceed Qwen3-8B across four reasoning benchmarks while being 4.7x smaller. This enables modular expertise at inference time: train focused LoRAs independently, combine them without retraining, and add new capabilities by simply loading new adapters.

研究の動機と目的

• マルチモーダルおよび混在能力タスクに対して、シーケンスごとのアダプタルーティングの限界を動機づける。
• 解決策としてのトークン単位ルーティングを提案し、計算最適性を分析する。
• 学習ゲーティングを備えた構成可能な専門化を実現する MoLoRA（Mixture of LoRA）を導入する。
• ホットセットメモリ、CUDA グラフなどのシステム最適化を示し、実用的なデプロイメントの利点を提供する。
• MoLoRA による専門化が、推論ベンチマークへ適用した場合、スケーリングよりも優れていることを検証する。

提案手法

• トークンごとのルーティングを形式化し、それがトークン数に比例する作業量を最適化することを証明する。
• マルチモーダルモデルの語彙ルーティングを定義し、モダリティとドメインを横断してアダプタを組み合わせる構成可能なルーティングを定義する。
• 決定論的ルーティングと学習ルーティングの両方をサポートする MoE 系統の統一ディスパッチカーネルを提示する。
• 複数の LoRA アダプタ上に軽量な学習ルーターを追加してトークンごとの選択を可能にする MoLoRA を導入する。
• レイテンシと分散を低減するための生産レベルのインフラ最適化（ホットセットメモリ、CUDA グラフキャプチャ）を説明する。

実験結果

リサーチクエスチョン

• RQ1 トークン単位ルーティングは、複数のアダプタを持つシステムにおいて、シーケンスごとのルーティングと比較して計算上の最適性を提供できるか。
• RQ2 トークン単位ルーティングは、再訓練なしでドメイン・モダリティ特異のアダプタを組み合わせることによる構成可能な専門化を実現できるか。
• RQ3 本番環境でトークン単位ルーティングを展開するために必要なシステム・カーネルレベルの最適化は何か。
• RQ4 MoLoRA は標準的な推論ベンチマークで、より大きなベースモデルと比較してどの程度の性能を示すのか。
• RQ5 学習済みのルーティングはオラクル（ドメインまたはモダリティ信号ベース）ルーティングに近い性能を、顕著なオーバーヘッドなしで再現できるか。

主な発見

• トークン単位ルーティングは作業量を最適化する：N トークンを1回のパスで処理するのに対し、K アダプタでは K×N 回のパスとなる。
• MoLoRA は軽量なルーターを用いて、複数のドメイン・モダリティ特異の LoRA アダプタへトークンをルーティングすることで構成可能な専門化を実現する。
• MoLoRA は Qwen3-1.7B + 4 アダプタで、GPMA（GSM8K、MATH、BBH、GPQA）で Qwen3-8B を上回りつつ、サイズは 4.7 倍小さい。
• システム最適化（ホットセットメモリと CUDA グラフキャプチャ）は、マルチモーダル作業負荷で実質的なレイテンシ削減と複数倍のスピードアップをもたらす。
• 学習ルーティングはオラクルルーティングに一致する可能性があり、手動ラベリングなしで自動的なドメイン・モダリティ認識アダプタ選択を実現できる。