[论文解读] From Challenges and Pitfalls to Recommendations and Opportunities: Implementing Federated Learning in Healthcare

Ming Li, Pengcheng Xu+3 more|arXiv (Cornell University)|Sep 15, 2024

Patient Dignity and PrivacyMedicine被引用 3

一句话总结

本文综述了截至2024年5月的联邦学习（FL）在医疗保健领域的应用，识别出关键的方法论缺陷——如可复现性差、缺乏开源代码、非独立同分布（non-IID）数据以及隐私风险——这些缺陷阻碍了其临床实用性。本文提出了切实可行的改进建议，包括标准化文档编写、开放模型与代码共享，以及使用公共数据集，以提升联邦学习在医疗保健领域中的可靠性、透明度和实际应用价值。

ABSTRACT

Federated learning holds great potential for enabling large-scale healthcare research and collaboration across multiple centres while ensuring data privacy and security are not compromised. Although numerous recent studies suggest or utilize federated learning based methods in healthcare, it remains unclear which ones have potential clinical utility. This review paper considers and analyzes the most recent studies up to May 2024 that describe federated learning based methods in healthcare. After a thorough review, we find that the vast majority are not appropriate for clinical use due to their methodological flaws and/or underlying biases which include but are not limited to privacy concerns, generalization issues, and communication costs. As a result, the effectiveness of federated learning in healthcare is significantly compromised. To overcome these challenges, we provide recommendations and promising opportunities that might be implemented to resolve these problems and improve the quality of model development in federated learning with healthcare.

研究动机与目标

• 评估联邦学习（FL）在医疗保健领域当前的发展状况，重点关注方法论缺陷和临床适用性。
• 识别重复出现的挑战，如可复现性差、缺乏开源代码以及文档不充分等问题。
• 分析隐私风险、通信成本以及数据异质性（non-IID）作为临床部署主要障碍的影响。
• 评估由于缺乏充分验证和透明度，FL研究与实际临床应用之间存在的差距。
• 提供一套全面的建议与机遇，以提升联邦学习在医疗保健领域中的质量、可复现性及临床相关性。

提出的方法

• 对截至2024年5月的近期医疗联邦学习研究进行了系统性综述，重点关注方法论严谨性与临床适用性。
• 基于文档质量、代码可获得性、公共数据集使用情况以及实现透明度对研究进行评估。
• 识别出常见问题，如术语模糊（例如，“模型更新”未明确说明）、使用自定义联邦学习框架，以及超参数报告缺失。
• 提出标准化联邦学习方法论检查清单，以提升研究间的可复现性与一致性。
• 倡导复用并扩展成熟的开源联邦学习框架，而非开发自定义实现，以减少错误并提升社区验证能力。
• 建议公开发布训练好的模型与代码，以支持独立评估，并加速协作进展。

实验结果

研究问题

• RQ1 近期应用于医疗保健领域的联邦学习研究中，最普遍的方法论缺陷是什么？
• RQ2 尽管性能指标表现良好，为何大多数当前的医疗联邦学习方法仍无法实现临床实用性？
• RQ3 不良的文档、缺乏开源代码以及依赖私有数据集在多大程度上阻碍了可复现性与公平评估？
• RQ4 隐私风险、通信成本以及数据非独立同分布（non-IID）特性在多大程度上损害了联邦学习在真实医疗环境中的有效性？
• RQ5 哪些标准化实践与开放科学原则能够提升联邦学习在医疗保健领域中的可靠性、透明度及临床转化能力？

主要发现

• 在所审查的医疗联邦学习研究中，仅有27%的论文公开发布了其代码，严重限制了可复现性与独立验证。
• 所审查的研究中没有一篇公开发布了其训练好的模型，阻碍了基准测试与未来模型的复用。
• 许多研究使用自定义联邦学习框架，而非成熟的开源工具，增加了实现错误的风险并降低了透明度。
• 关键的方法论细节——如数据预处理、数据增强、超参数设置，以及“模型更新”的定义——经常缺失或含糊不清。
• 对私有、非公开数据集的依赖，阻碍了不同机构间结果的公平比较与泛化能力。
• 尽管在集中式基准测试中表现良好，但大多数医疗联邦学习模型缺乏临床验证，且在真实世界环境中未能展示出可操作的临床结果。