[論文レビュー] A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine

Anran Li, Yuanyuan Chen+17 more|arXiv (Cornell University)|Jan 29, 2026

Machine Learning in Healthcare被引用数 0

ひとこと要約

本論文は、低秩適応と適応的アグリゲーションを用いて大規模言語モデルを医療タスクへ適応させるための連邦学習かつパラメータ効率的なフレームワーク Fed-MedLoRA を提案し、複数コホートとベースラインに対する臨床情報抽出の評価を行う。

ABSTRACT

Large language models (LLMs) have demonstrated strong performance on medical benchmarks, including question answering and diagnosis. To enable their use in clinical settings, LLMs are typically further adapted through continued pretraining or post-training using clinical data. However, most medical LLMs are trained on data from a single institution, which faces limitations in generalizability and safety in heterogeneous systems. Federated learning (FL) is a promising solution for enabling collaborative model development across healthcare institutions. Yet applying FL to LLMs in medicine remains fundamentally limited. First, conventional FL requires transmitting the full model during each communication round, which becomes impractical for multi-billion-parameter LLMs given the limited computational resources. Second, many FL algorithms implicitly assume data homogeneity, whereas real-world clinical data are highly heterogeneous across patients, diseases, and institutional practices. We introduce the model-agnostic and parameter-efficient federated learning framework for adapting LLMs to medical applications. Fed-MedLoRA transmits only low-rank adapter parameters, reducing communication and computation overhead, while Fed-MedLoRA+ further incorporates adaptive, data-aware aggregation to improve convergence under cross-site heterogeneity. We apply the framework to clinical information extraction (IE), which transforms patient narratives into structured medical entities and relations. Accuracy was assessed across five patient cohorts through comparisons with BERT models, and LLaMA-3 and DeepSeek-R1, GPT-4o models. Evaluation settings included (1) in-domain training and testing, (2) external validation on independent cohorts, and (3) a low-resource new-site adaptation scenario using real-world clinical notes from the Yale New Haven Health System.

研究の動機と目的

• 機関間で訓練された一般化可能で安全な医療用LLMの必要性を動機付ける。
• LLMを医療利用へ適応させる連邦学習・パラメータ効率的フレームワーク（Fed-MedLoRA）を提案する。
• Fed-MedLoRA+ によるデータヘテロジニティ下での収束改善を、適応的でデータ意識的なアグリゲーションで実現する。
• 臨床情報抽出への適用性を示し、強力なベースラインと比較する。
• ドメイン内、外部、低リソースサイト適応のシナリオで評価する。

提案手法

• 通信と計算を削減するために低秩アダプタパラメータのみを送信する（Fed-MedLoRA）。
• サイト間のヘテロジニティ下での収束を改善するために適応的・データ意識的アグリゲーションを取り入れる（Fed-MedLoRA+）。
• 患者のナラティブから構造化されたエンティティとリレーションへの臨床情報抽出へフレームワークを適用する。
• 複数コホー卿を跨ぐベンチマークとしてBERT、LLaMA-3、DeepSeek-R1、GPT-4oを比較する。
• ドメイン内の訓練/評価、独立コホートでの外部検証、実世界ノートを用いた低リソース適応を評価する（Yale New Haven Health System の実データを使用）。

実験結果

リサーチクエスチョン

• RQ1 複数機関にまたがる医療LLMをパラメータ効率的アダプタで効果的に訓練できるか。
• RQ2 Fed-MedLoRA および Fed-MedLoRA+ は臨床情報抽出で強力なベースラインと比較してどうか。
• RQ3 適応的・データ意識的アグリゲーションはサイト間ヘテロジニティ下での収束を改善するか。
• RQ4 実世界の臨床ノートを用いた低リソース適応シナリオでの性能はどうか。

主な発見

• Fed-MedLoRA および Fed-MedLoRA+ は、5つのコホートで臨床情報抽出においてベースラインと比較して高い精度を達成する。
• Fed-MedLoRA+ は適応的アグリゲーションによりサイト間ヘテロジニティ下での収束を改善する。
• 本フレームワークは3つの設定（ドメイン内訓練/評価、独立コホートでの外部検証、低リソースサイト適応）で評価される。
• 比較対象はBERTモデル、LLaMA-3、DeepSeek-R1、GPT-4oモデルで行われる。
• 実験には Yale New Haven Health System の実世界の臨床ノートを低リソース適応に使用。