[论文解读] MetaFed: Federated Learning among Federations with Cyclic Knowledge Distillation for Personalized Healthcare

Yiqiang Chen, Lu Wang+3 more|arXiv (Cornell University)|Jun 17, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

MetaFed 提出了一种无服务器联邦学习框架，用于医疗领域中的跨联邦协作，采用循环知识蒸馏技术，在无需中心服务器的情况下实现个性化模型。该方法在真实世界帕金森病震颤检测任务中，相比 FedAvg 和 FedProx，准确率最高提升 16.11%，同时降低通信成本，并有效应对数据异构性问题。

ABSTRACT

Federated learning has attracted increasing attention to building models without accessing the raw user data, especially in healthcare. In real applications, different federations can seldom work together due to possible reasons such as data heterogeneity and distrust/inexistence of the central server. In this paper, we propose a novel framework called MetaFed to facilitate trustworthy FL between different federations. MetaFed obtains a personalized model for each federation without a central server via the proposed Cyclic Knowledge Distillation. Specifically, MetaFed treats each federation as a meta distribution and aggregates knowledge of each federation in a cyclic manner. The training is split into two parts: common knowledge accumulation and personalization. Comprehensive experiments on three benchmarks demonstrate that MetaFed without a server achieves better accuracy compared to state-of-the-art methods (e.g., 10%+ accuracy improvement compared to the baseline for PAMAP2) with fewer communication costs.

研究动机与目标

• 解决在无中心服务器或对上级协调机构缺乏信任的情况下，跨独立医疗机构（联邦）进行联邦学习的挑战。
• 克服医疗应用中跨联邦存在的数据异构性问题，特别是特征分布和标签分布的偏移。
• 开发一种个性化联邦学习框架，在保护数据隐私的同时实现在联邦之间的知识共享。
• 在真实医疗场景（如帕金森病监测）中降低通信成本并提升模型准确率。
• 提供一种可扩展、可扩展的框架，适用于评估基准之外的多样化医疗应用场景。

提出的方法

• MetaFed 将每个联邦视为一个元分布，通过循环知识蒸馏以无服务器方式迭代地在联邦之间传递通用知识。
• 该框架分为两个阶段：第一阶段使用固定超参数积累通用知识；第二阶段通过调整超参数实现个性化。
• 知识蒸馏在联邦之间按循环顺序进行，每个联邦的模型作为下一个联邦的教师模型，通过仅共享蒸馏后的知识来保护隐私。
• 该方法利用模型蒸馏对齐表示，缓解异构数据分布带来的特征分布和标签分布偏移问题。
• 该框架具有可扩展性，可与现有联邦学习方法（如 FedAvg 或 FedProx）集成，用于联邦内部的训练。
• 在真实医疗应用中，采用基于 CNN 的模型，包含两层卷积层、批量归一化层和全连接层，用于时间序列分类。

Figure 1: Issues in meta federated learning.

实验结果

研究问题

• RQ1 在无中心服务器或对治理机构缺乏信任的情况下，联邦学习能否有效扩展至独立联邦之间？
• RQ2 在数据高度异构的联邦之间，如何有效积累通用知识并学习个性化模型？
• RQ3 在真实医疗应用中，循环知识蒸馏是否能在准确率和通信效率方面优于现有联邦学习方法？
• RQ4 在医学时间序列数据中，面对特征偏移（如传感器差异）和标签偏移（如数据分布变化）时，MetaFed 的表现如何？
• RQ5 MetaFed 是否可在真实医疗系统（如移动帕金森病评估工具）中实际部署？

主要发现

• 在帕金森病震颤检测任务中，MetaFed 平均准确率达到 87.42%，显著优于 FedAvg（71.31%）、FedProx（71.32%）和 FedBN（80.94%）的基准表现。
• 在 PAMAP2 数据集上，MetaFed 相较基线模型准确率提升超过 10%，在人体活动识别任务中表现强劲。
• 在帕金森病震颤应用中，MetaFed 相较 FedAvg 准确率提升 16.11%，相较 FedBN 提升 6.48%，尤其在特征偏移条件下表现优异。
• MetaFed 减少了通信轮次，相比最先进方法显著降低通信成本。
• 在标签偏移（如疾病流行率变化）条件下，该方法表现出鲁棒性，而 FedBN 表现下降，MetaFed 仍保持高准确率。
• MetaFed 已成功应用于真实移动帕金森病评估工具（PDAssist），证明其在临床环境中的实际可行性。

Figure 2: The structure of MetaFed for federated learning among federations. Stage I is the common knowledge accumulation stage where the model is sent after local training. Stage II is the personalization stage where the common knowledge model is sent before local training.