[论文解读] FedNER: Medical Named Entity Recognition with Federated Learning

Suyu Ge, Fangzhao Wu+4 more|arXiv (Cornell University)|Mar 20, 2020

Topic Modeling参考文献 31被引用 24

一句话总结

FedNER 提出了一种用于医疗命名实体识别的联邦学习框架，该框架将模型分解为共享模块和私有模块，从而在不共享原始数据的情况下实现在不同医疗平台间的隐私保护协作。通过聚合本地梯度来更新全局共享模块，FedNER 在尊重数据异质性和隐私约束的前提下，提升了多种数据集上的 NER 性能。

ABSTRACT

Medical named entity recognition (NER) has wide applications in intelligent healthcare. Sufficient labeled data is critical for training accurate medical NER model. However, the labeled data in a single medical platform is usually limited. Although labeled datasets may exist in many different medical platforms, they cannot be directly shared since medical data is highly privacy-sensitive. In this paper, we propose a privacy-preserving medical NER method based on federated learning, which can leverage the labeled data in different platforms to boost the training of medical NER model and remove the need of exchanging raw data among different platforms. Since the labeled data in different platforms usually has some differences in entity type and annotation criteria, instead of constraining different platforms to share the same model, we decompose the medical NER model in each platform into a shared module and a private module. The private module is used to capture the characteristics of the local data in each platform, and is updated using local labeled data. The shared module is learned across different medical platform to capture the shared NER knowledge. Its local gradients from different platforms are aggregated to update the global shared module, which is further delivered to each platform to update their local shared modules. Experiments on three publicly available datasets validate the effectiveness of our method.

研究动机与目标

• 解决单个医疗平台中标签数据有限的挑战。
• 在不共享敏感患者数据的前提下，实现医疗 NER 模型的协作训练。
• 应对由于实体类型和标注标准差异导致的平台间数据异质性问题。
• 通过利用分布式的标签数据，在保护数据隐私的同时提升 NER 性能。
• 开发一种将共享知识与平台特定特征分离的模型架构。

提出的方法

• 将医疗 NER 模型分解为每个平台的共享模块和私有模块。
• 在每个平台上使用其自身的标签数据本地训练私有模块，以捕捉本地数据特征。
• 聚合所有平台的本地梯度，以更新捕获通用 NER 知识的全局共享模块。
• 将更新后的全局共享模块分发回各平台，用于本地优化。
• 使用联邦平均算法，基于所有参与平台的贡献更新全局模型。
• 采用模块化架构，使模型能够灵活适应本地数据分布，同时保持跨平台的知识共享。

实验结果

研究问题

• RQ1 联邦学习方法是否能在不共享原始患者数据的前提下，有效提升医疗 NER 性能？
• RQ2 将模型分解为共享与私有模块，在异构医疗数据环境下对性能有何影响？
• RQ3 联邦训练在多大程度上可缓解因医疗平台间数据分布偏移导致的性能下降？
• RQ4 所提出方法在医疗 NER 基准测试中是否优于集中式与非联邦方法？
• RQ5 该模型对不同医疗机构间实体类型和标注标准差异的鲁棒性如何？

主要发现

• FedNER 通过利用去中心化的标签数据且不共享数据，在三个公开医疗 NER 数据集上实现了卓越性能。
• 将模型分解为共享与私有模块，能有效捕捉通用与平台特定的 NER 模式。
• 联邦训练过程成功实现了跨平台的知识聚合，同时保护了数据隐私。
• 即使各平台之间的本地数据分布存在显著差异，仍能观察到性能提升。
• 该方法对不同医疗机构间实体类型和标注标准的差异表现出良好的鲁棒性。
• 全局共享模块通过学习跨多样化医疗文本来源的可迁移 NER 特征，提升了模型的泛化能力。