[论文解读] FedHealth 2: Weighted Federated Transfer Learning via Batch Normalization for Personalized Healthcare

Yiqiang Chen, Lu Wang+2 more|arXiv (Cornell University)|Jun 2, 2021

Privacy-Preserving Technologies in Data参考文献 16被引用 5

一句话总结

FedHealth 2 提出了一种加权联邦迁移学习框架，保留了本地批量归一化，并通过预训练模型估计客户端相似性，以在非独立同分布（non-iid）和领域偏移数据下提升个性化医疗模型性能。其准确率比 FedAvg 最高提升 10%，且在 20 轮内收敛，显著优于 FedBN 和 FedPer，同时保持了数据隐私。

ABSTRACT

The success of machine learning applications often needs a large quantity of data. Recently, federated learning (FL) is attracting increasing attention due to the demand for data privacy and security, especially in the medical field. However, the performance of existing FL approaches often deteriorates when there exist domain shifts among clients, and few previous works focus on personalization in healthcare. In this article, we propose FedHealth 2, an extension of FedHealth \cite{chen2020fedhealth} to tackle domain shifts and get personalized models for local clients. FedHealth 2 obtains the client similarities via a pretrained model, and then it averages all weighted models with preserving local batch normalization. Wearable activity recognition and COVID-19 auxiliary diagnosis experiments have evaluated that FedHealth 2 can achieve better accuracy (10%+ improvement for activity recognition) and personalized healthcare without compromising privacy and security.

研究动机与目标

• 为解决医疗应用中因领域偏移和非独立同分布数据导致的联邦学习性能下降问题。
• 在不共享原始数据的前提下，实现对单个客户端的个性化模型学习，以保护隐私与安全。
• 通过整合客户端相似性加权和保留本地批量归一化，提升收敛速度与模型准确率。
• 将 FedHealth 扩展以处理现实医疗场景中的标签偏移和特征偏移，同时最小化数据共享。
• 开发一种稳健且可扩展的框架，适用于可穿戴设备活动识别、疾病诊断等多种医疗任务。

提出的方法

• 利用预训练模型输出的统计特征估计客户端相似性，量化客户端之间的分布距离。
• 采用加权聚合策略，基于客户端相似性评分组合全局模型更新，优先聚合更相似的客户端。
• 在训练过程中保留本地批量归一化统计量，以缓解客户端间特征分布偏移问题。
• 通过加密交换模型参数，确保通信过程中的数据隐私，防止信息泄露。
• 当无预训练模型可用时，可通过 FedBN 扩展实现相似性估计，支持在低数据场景下的部署。
• 在每个客户端本地应用基于动量的优化更新，以维持模型个性化与稳定性。

实验结果

研究问题

• RQ1 如何增强联邦学习以应对个性化医疗应用中的领域偏移和非独立同分布数据？
• RQ2 在特征分布偏移下，保留本地批量归一化在多大程度上能提升模型性能？
• RQ3 通过预训练模型进行客户端相似性估计，是否能带来更优的模型聚合效果与更快的收敛速度？
• RQ4 基于客户端相似性的加权聚合与均匀或无权重聚合相比，在准确率和鲁棒性方面表现如何？
• RQ5 局部训练轮数、客户端数量和权重因子 λ 等超参数对收敛性和性能有何影响？

主要发现

• 在可穿戴设备活动识别任务中，FedHealth 2 相较 FedAvg 准确率提升超过 10%，在非独立同分布数据上表现出显著性能优势。
• 在 PAMAP2 数据集上，FedHealth 2 平均准确率达到 94.82%，显著优于 FedPer（88.51%）和 FedBN（86.48%）的个性化学习表现。
• 在 COVID-19 辅助诊断任务中，FedHealth 2 达到 94.97% 的平均准确率，即使在类别较少且数据有限的情况下也表现出强大性能。
• FedHealth 2 在 20 轮内完成收敛，而 FedBN 需要超过 400 轮，表明收敛速度有显著提升。
• 消融实验证实，基于客户端相似性的加权机制和保留本地批量归一化均对性能提升有贡献，其中加权机制的影响更为显著。
• 参数敏感性分析表明，FedHealth 2 对局部训练轮数、客户端数量和 λ 的变化具有鲁棒性，仅对准确率产生轻微影响，对收敛速度有中等程度影响。