[论文解读] FedMosaic: Federated Retrieval-Augmented Generation via Parametric Adapters
tldr: FedMosaic 提出了一种联邦 RAG 框架,利用多文档参数化适配器与选择性聚合来保持局部性、提升准确性,并降低存储與通信成本。
Retrieval-Augmented Generation (RAG) enhances Large Language Models (LLMs) by grounding generation in external knowledge to improve factuality and reduce hallucinations. Yet most deployments assume a centralized corpus, which is infeasible in privacy aware domains where knowledge remains siloed. This motivates federated RAG (FedRAG), where a central LLM server collaborates with distributed silos without sharing raw documents. In context RAG violates this requirement by transmitting verbatim documents, whereas parametric RAG encodes documents into lightweight adapters that merge with a frozen LLM at inference, avoiding raw-text exchange. We adopt the parametric approach but face two unique challenges induced by FedRAG: high storage and communication from per-document adapters, and destructive aggregation caused by indiscriminately merging multiple adapters. We present FedMosaic, the first federated RAG framework built on parametric adapters. FedMosaic clusters semantically related documents into multi-document adapters with document-specific masks to reduce overhead while preserving specificity, and performs selective adapter aggregation to combine only relevance-aligned, nonconflicting adapters. Experiments show that FedMosaic achieves an average 10.9% higher accuracy than state-of-the-art methods in four categories, while lowering storage costs by 78.8% to 86.3% and communication costs by 91.4%, and never sharing raw documents.
研究动机与目标
- 在允许隐私保护的领域中动机于联邦化的 RAG:原始文档不能被共享。
- 开发一个参数化的 RAG 框架,通过交换适配器而非原始文本来尊重局部性。
- 通过多文档适配器降低存储和通信开销。
- 通过选择性聚合来缓解跨筒仓(inter-silo)适配器干扰以维持准确性。
提出的方法
- 通过对语义相关的文档进行聚类并学习文档特定的掩码来使用多文档参数化适配器。
- 训练簇级适配器以编码多份文档,同时保持对每个文档的特异性。
- 应用文档特定的掩码来门控适配器参数并降低内部适配器干扰。
- 将查询广播到筒仓以进行本地重排序和相关性评分,使用掩码。
- 通过一个具有冲突感知的贪婪算法选择全局相关且互不冲突的适配器。
- 用相关性权重对带掩码的适配器进行聚合,以生成带有基础大语言模型的最终答案。
实验结果
研究问题
- RQ1在不分享原始文档的前提下,是否可以在局部性约束下实现联邦检索增强生成(FedRAG)?
- RQ2多文档适配器和选择性聚合是否能缓解 FedRAG 的内部与跨筒仓干扰?
- RQ3与现有的联邦与参数化 RAG 方法相比,FedMosaic 的存储/通信权衡与准确性提升如何?
- RQ4当使用更大骨干网络和隐私保护考虑时,FedMosaic 如何扩展?
- RQ5与在上下文中的 FedRAG 方法相比,FedMosaic 对隐私攻击是否具有鲁棒性?
主要发现
- FedMosaic 在四个类别上平均比最先进基线高出 10.9% 的准确性。
- 存储成本降低 78.8% 至 86.3%,通信成本降低 91.4%。
- FedMosaic 通过从不分享原始文档来保持局部性,同时提升答案质量。
- 多文档适配器通过文档特定的掩码降低存储/通信开销,同时保持对每个文档的特异性。
- 选择性适配器聚合通过仅聚合相关且不冲突的适配器来缓解跨筒仓干扰。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。