[논문 리뷰] A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine

Anran Li, Yuanyuan Chen외 17명|arXiv (Cornell University)|2026. 01. 29.

Machine Learning in Healthcare인용 수 0

한 줄 요약

이 논문은 대형 언어 모델을 의료 작업에 적응시키기 위한 로컬 랭크 어댑터 및 적응 집계를 사용한 Fed-MedLoRA라는 연합학습 및 매개변수 효율 프레임워크를 소개하며, 다수 코호트와 베이스라인에 걸친 임상 정보 추출 평가를 수행한다.

ABSTRACT

Large language models (LLMs) have demonstrated strong performance on medical benchmarks, including question answering and diagnosis. To enable their use in clinical settings, LLMs are typically further adapted through continued pretraining or post-training using clinical data. However, most medical LLMs are trained on data from a single institution, which faces limitations in generalizability and safety in heterogeneous systems. Federated learning (FL) is a promising solution for enabling collaborative model development across healthcare institutions. Yet applying FL to LLMs in medicine remains fundamentally limited. First, conventional FL requires transmitting the full model during each communication round, which becomes impractical for multi-billion-parameter LLMs given the limited computational resources. Second, many FL algorithms implicitly assume data homogeneity, whereas real-world clinical data are highly heterogeneous across patients, diseases, and institutional practices. We introduce the model-agnostic and parameter-efficient federated learning framework for adapting LLMs to medical applications. Fed-MedLoRA transmits only low-rank adapter parameters, reducing communication and computation overhead, while Fed-MedLoRA+ further incorporates adaptive, data-aware aggregation to improve convergence under cross-site heterogeneity. We apply the framework to clinical information extraction (IE), which transforms patient narratives into structured medical entities and relations. Accuracy was assessed across five patient cohorts through comparisons with BERT models, and LLaMA-3 and DeepSeek-R1, GPT-4o models. Evaluation settings included (1) in-domain training and testing, (2) external validation on independent cohorts, and (3) a low-resource new-site adaptation scenario using real-world clinical notes from the Yale New Haven Health System.

연구 동기 및 목표

• 다양한 기관에서 훈련된 일반화 가능하고 안전한 의료용 LLM의 필요성을 동기 부여한다.
• 의료용으로 LLM을 적응시키기 위한 연합 학습 기반의 매개변수 효율 프레임워크(Fed-MedLoRA)를 제안한다.
• 적응적이고 데이터 인식형 집계를 통해 데이터 이질성 하에서 수렴을 향상시키는 Fed-MedLoRA+를 제안한다.
• 임상 정보 추출에 대한 적용 가능성을 시연하고 강력한 베이스라인과 비교한다.
• 도메인 내, 외부, 그리고 저자원 사이트 적응 시나리오에 걸쳐 평가한다.

제안 방법

• 의사소통 및 계산 부담을 줄이기 위해 저랭크 어댑터 매개변수만 전송한다 (Fed-MedLoRA).
• 크로스 사이트 이질성 하에서 수렴을 개선하기 위해 적응적이고 데이터 인식형 집계를 도입한다 (Fed-MedLoRA+).
• 환자 이야기로부터 구조화된 엔티티 및 관계로의 임상 정보 추출에 프레임워크를 적용한다.
• 다수의 코호트에서 BERT, LLaMA-3, DeepSeek-R1, 그리고 GPT-4o와 비교 벤치마킹한다.
• 도메인 내 학습/테스트, 독립 코호트에 대한 외부 검증, 그리고 Yale New Haven Health System의 실제 임상 노트를 사용한 저자원 적응을 평가한다.

실험 결과

연구 질문

• RQ1 매개변수 효율 어댑터를 이용한 연합 학습이 다수의 기관에 걸쳐 의료용 LLM을 효과적으로 학습시킬 수 있는가?
• RQ2 Fed-MedLoRA 및 Fed-MedLoRA+가 임상 정보 추출에서 강력한 베이스라인과 비교했을 때 어떤 차이가 있는가?
• RQ3 적응적이고 데이터 인식형 집계가 사이트 간 이질성 하에서 수렴을 개선하는가?
• RQ4 실제 임상 노트를 사용한 저자원 적응 시나리오에서 프레임워크의 성능은 어느 정도인가?

주요 결과

• Fed-MedLoRA 및 Fed-MedLoRA+는 다섯 개의 코호트에서 임상 정보 추출에 대해 베이스라인과 비교해 경쟁력 있는 정확도를 달성한다.
• Fed-MedLoRA+는 적응형 집계로 인해 크로스 사이트 이질성 하에서 수렴 개선을 제공한다.
• 프레임워크는 도메인 내 학습/테스트, 독립 코호트에 대한 외부 검증, 그리고 저자원 사이트 적응의 세 가지 설정에서 평가된다.
• 비교는 BERT 모델, LLaMA-3, DeepSeek-R1, 및 GPT-4o 모델에 대해 이루어진다.
• 실험은 저자원 적응을 위해 Yale New Haven Health System의 실제 임상 노트를 활용한다.