[論文レビュー] FedMosaic: Federated Retrieval-Augmented Generation via Parametric Adapters

Zhilin Liang, Yuxiang Wang+4 more|arXiv (Cornell University)|Feb 5, 2026

Topic Modeling被引用数 0

ひとこと要約

FedMosaic は多文書パラメトリックアダプタと選択的集約を用いた連邦RAGフレームワークを提示し、局所性を保持し精度を高め、ストレージと通信コストを削減します。

ABSTRACT

Retrieval-Augmented Generation (RAG) enhances Large Language Models (LLMs) by grounding generation in external knowledge to improve factuality and reduce hallucinations. Yet most deployments assume a centralized corpus, which is infeasible in privacy aware domains where knowledge remains siloed. This motivates federated RAG (FedRAG), where a central LLM server collaborates with distributed silos without sharing raw documents. In context RAG violates this requirement by transmitting verbatim documents, whereas parametric RAG encodes documents into lightweight adapters that merge with a frozen LLM at inference, avoiding raw-text exchange. We adopt the parametric approach but face two unique challenges induced by FedRAG: high storage and communication from per-document adapters, and destructive aggregation caused by indiscriminately merging multiple adapters. We present FedMosaic, the first federated RAG framework built on parametric adapters. FedMosaic clusters semantically related documents into multi-document adapters with document-specific masks to reduce overhead while preserving specificity, and performs selective adapter aggregation to combine only relevance-aligned, nonconflicting adapters. Experiments show that FedMosaic achieves an average 10.9% higher accuracy than state-of-the-art methods in four categories, while lowering storage costs by 78.8% to 86.3% and communication costs by 91.4%, and never sharing raw documents.

研究の動機と目的

• raw documents を共有できないプライバシー配慮ドメインにおける連邦RAGを動機づける。
• raw テキストの交換ではなくアダプタを交換することで局所性を尊重するパラメトリックRAGフレームワークを開発する。
• multi-document アダプタを用いてストレージと通信オーバーヘッドを削減する。
• 選択的集約を通じてインサロ間のアダプタ干渉を緩和し、精度を維持する。

提案手法

• 意味的に関連する文書をクラスタリングし文書特異的マスクを学習することで multi-document parametric adapters を使用する。
• 複数の文書をエンコードしつつ各文書の特異性を保持するクラスター単位のアダプタを訓練する。
• 文書特異的マスキングを適用してアダプタパラメータをゲートし、アダプタ内干渉を低減する。
• マスクを用いてローカルリランキングと関連性スコアリングのためにシロ側へクエリをブロードキャストする。
• 競合を考慮した greed algorithm により globally relevant で衝突のないアダプタを選択する。
• 関連性に基づく重み付けでマスクされたアダプタを集約し、基本 LLM を用いて最終回答を生成する。

実験結果

リサーチクエスチョン

• RQ1 raw documents を共有せずに locality 制約下で federated retrieval-augmented generation（FedRAG）を達成できるか？
• RQ2 multi-document アダプタと選択的集約は FedRAG における intra-および inter-silo 干渉を緩和するか？
• RQ3 FedMosaic は既存の連邦・パラメトリックRAG 手法と比較してストレージ/通信トレードオフと精度向上をもたらすのか？
• RQ4 より大きなバックボーンとプライバシー保護を考慮した場合、FedMosaic はどのようにスケールするのか？
• RQ5 FedMosaic はインコンテキスト FedRAG アプローチと比較してプライバシー攻撃に対して頑健か？

主な発見

• FedMosaic は 4 カテゴリで最先端ベースラインより平均で 10.9% 高い精度を達成。
• ストレージコストを 78.8% ～ 86.3% 削減、通信コストを 91.4% 削減。
• FedMosaic は raw documents を共有せず局所性を保持しつつ回答品質を改善。
• マルチドキュメントアダプタは文書特異的マスクにより per-document specificity を損なうことなくストレージ/通信オーバーヘッドを低減。
• 選択的アダプタ集約は inter-silo 干渉を緩和し、関連性が高く衝突のないアダプタのみを集約する。