Skip to main content
QUICK REVIEW

[논문 리뷰] FedMosaic: Federated Retrieval-Augmented Generation via Parametric Adapters

Zhilin Liang, Yuxiang Wang|arXiv (Cornell University)|2026. 02. 05.
Topic ModelingComputer Science인용 수 0
한 줄 요약

FedMosaic은 로컬리티를 보존하고 정확도를 높이며 저장소 및 통신 비용을 줄이기 위해 다문서 매개변수 어댑터와 선택적 집계를 활용하는 연합형 RAG 프레이크워크를 제시한다.

ABSTRACT

Retrieval-Augmented Generation (RAG) enhances Large Language Models (LLMs) by grounding generation in external knowledge to improve factuality and reduce hallucinations. Yet most deployments assume a centralized corpus, which is infeasible in privacy aware domains where knowledge remains siloed. This motivates federated RAG (FedRAG), where a central LLM server collaborates with distributed silos without sharing raw documents. In context RAG violates this requirement by transmitting verbatim documents, whereas parametric RAG encodes documents into lightweight adapters that merge with a frozen LLM at inference, avoiding raw-text exchange. We adopt the parametric approach but face two unique challenges induced by FedRAG: high storage and communication from per-document adapters, and destructive aggregation caused by indiscriminately merging multiple adapters. We present FedMosaic, the first federated RAG framework built on parametric adapters. FedMosaic clusters semantically related documents into multi-document adapters with document-specific masks to reduce overhead while preserving specificity, and performs selective adapter aggregation to combine only relevance-aligned, nonconflicting adapters. Experiments show that FedMosaic achieves an average 10.9% higher accuracy than state-of-the-art methods in four categories, while lowering storage costs by 78.8% to 86.3% and communication costs by 91.4%, and never sharing raw documents.

연구 동기 및 목표

  • 원시 문서를 공유할 수 없는 프라이버시에 민감한 도메인에서 federated RAG의 필요성을 제시한다.
  • 원시 텍스트 대신 어댑터를 교환하여 로컬리티를 존중하는 매개변수 기반 RAG 프레임워크를 개발한다.
  • 다문서 어댑터를 통해 저장 및 통신 오버헤드를 감소시킨다.
  • 선택적 집계로 실로 간 어댤터 간 간섭을 완화하고 정확성을 유지한다.

제안 방법

  • 다문서 어댑터를 의미적으로 관련된 문서들을 클러스터링하고 문서별 마스크를 학습한다.
  • 클러스터 수준 어댑터를 학습시켜 여러 문서를 인코딩하면서 문서별 특이성을 유지한다.
  • 문서별 마스킹을 적용해 어댑터 파라미터를 게이트하고 내부 어댑터 간 간섭을 줄인다.
  • 마스크를 사용하여 지역 재랭킹 및 관련성 점수를 위한 로컬 싱크에 쿼리를 방송한다.
  • 충돌 인식 그리디 알고리즘으로 전역적으로 관련 있고 비충돌한 어댑터를 선택한다.
  • 관련성에 따라 가중치를 두고 마스크가 적용된 어댑터를 합산해 기본 LLM으로 최종 답변을 생성한다.

실험 결과

연구 질문

  • RQ1원시 문서를 공유하지 않고도 로컬리티 제약 하에서 FedRAG를 달성할 수 있는가?
  • RQ2다문서 어댑터와 선택적 집계가 FedRAG에서 내부 및 실로 간 간섭을 완화하는가?
  • RQ3저장/통신 트레이드오프 및 정확도 개선 측면에서 FedMosaic이 기존 연합형 및 매개변수화된 RAG 방법과 비교해 어떤 이점을 가지는가?
  • RQ4더 큰 백본 및 프라이버시 보장 고려 사항에 따라 FedMosaic는 어떻게 확장되는가?
  • RQ5FedMosaic가 컨텍스트 내 FedRAG 접근 방식에 비해 프라이버시 공격에 얼마나 강건한가?

주요 결과

  • FedMosaic은 네 가지 범주에서 최첨단 기준과 비교해 평균 10.9% 더 높은 정확도를 달성한다.
  • 저장 비용이 78.8%에서 86.3%까지 감소하고 통신 비용은 91.4% 감소한다.
  • FedMosaic은 원시 문서를 공유하지 않으면서 로컬리티를 유지하고 답변 품질을 개선한다.
  • 다문서 어댑터는 문서별 마스크로 인해 각 문서의 특이성을 유지하면서 저장/통신 비용을 감소시킨다.
  • 선택적 어댑터 집계는 관련성 있고 비충돌하는 어댑터만을 합산하여 실로 간 간섭을 완화한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.