[论文解读] Federated Cross Learning for Medical Image Segmentation

Xuanang Xu, Deng, Hannah H.+7 more|arXiv (Cornell University)|Apr 5, 2022

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本文提出联邦交叉学习（FedCross），一种用于医学图像分割的无聚合联邦学习框架，通过轮询方式在客户端顺序训练模型，以缓解非独立同分布（non-i.i.d.）数据下的性能下降问题。FedCrossEns 作为其集成扩展，实现了与集中式学习相当的分割精度，并提供像素级不确定性图，增强了临床可用性，同时避免了模型平均带来的不稳定性。

ABSTRACT

Federated learning (FL) can collaboratively train deep learning models using isolated patient data owned by different hospitals for various clinical applications, including medical image segmentation. However, a major problem of FL is its performance degradation when dealing with data that are not independently and identically distributed (non-iid), which is often the case in medical images. In this paper, we first conduct a theoretical analysis on the FL algorithm to reveal the problem of model aggregation during training on non-iid data. With the insights gained through the analysis, we propose a simple yet effective method, federated cross learning (FedCross), to tackle this challenging problem. Unlike the conventional FL methods that combine multiple individually trained local models on a server node, our FedCross sequentially trains the global model across different clients in a round-robin manner, and thus the entire training procedure does not involve any model aggregation steps. To further improve its performance to be comparable with the centralized learning method, we combine the FedCross with an ensemble learning mechanism to compose a federated cross ensemble learning (FedCrossEns) method. Finally, we conduct extensive experiments using a set of public datasets. The experimental results show that the proposed FedCross training strategy outperforms the mainstream FL methods on non-iid data. In addition to improving the segmentation performance, our FedCrossEns can further provide a quantitative estimation of the model uncertainty, demonstrating the effectiveness and clinical significance of our designs. Source code is publicly available at https://github.com/DIAL-RPI/FedCross.

研究动机与目标

• 解决在医院间数据非独立同分布（non-i.i.d.）条件下，联邦学习（FL）在医学图像分割任务中性能下降的问题。
• 克服 FedAvg 及其变体中模型平均带来的局限性，这些方法可能因梯度差异导致次优解。
• 开发一种避免参数聚合的训练策略，以提升异构医学影像数据下的稳定性和性能。
• 通过提供不确定性估计来增强模型的可靠性，支持临床决策。
• 在保护数据隐私的前提下，实现与集中式学习相当的性能。

提出的方法

• 提出 FedCross，一种新颖的联邦学习策略，通过轮询方式在客户端顺序训练全局模型，从而消除对模型聚合的需求。
• 该方法通过一次仅训练一个客户端的模型来避免本地模型参数的平均，从而减少非独立同分布数据带来的误差放大。
• 提出 FedCrossEns，一种集成方法，通过并行训练多个 FedCross 模型并融合其预测结果，以提升精度和不确定性估计能力。
• 利用集成学习在不共享原始数据的前提下逼近集中式训练的性能。
• 通过集成方差生成的不确定性图来量化预测置信度，支持临床验证工作流程。
• 理论分析表明，在非独立同分布条件下，FedAvg 中的模型平均会放大误差，从而推动了无聚合设计的提出。

实验结果

研究问题

• RQ1 在非独立同分布的医学图像数据分布下，FedAvg 中的模型平均如何导致性能下降？
• RQ2 一种避免模型聚合的联邦训练策略是否能在非独立同分布的医学图像分割任务中实现更优性能？
• RQ3 像 FedCross 这类无聚合方法是否能在保护隐私的前提下，保持或超越集中式学习的精度？
• RQ4 FedCrossEns 是否能为分割输出提供可靠的不确定性估计，从而提升临床信任度和可用性？
• RQ5 本地训练轮数对基于聚合与无聚合联邦学习方法的稳定性和性能有何影响？

主要发现

• 在 PROMISE12 数据集上，FedCross 在非独立同分布条件下取得了 90.77±2.47 的最高 Dice 分数，优于 FedAvg、FedProx 和 FedBN。
• FedCrossEns 在测试集上取得了 88.73 的 Dice 分数，接近集中式学习的 90.66。
• FedCrossEns 生成的不确定性图提供了临床有用的像素级置信度估计，如图 4 所示。
• 随着本地训练轮数从 1 增加到 16，FedCross 的性能下降程度小于基于聚合的方法（如 FedAvg、FedProx、FedBN），证实了其稳定性。
• 在样本量较小的数据集（19、30、48 名受试者）上，所有联邦学习方法均显著优于本地训练，表明知识迁移效率高。
• 消融研究证实，FedCross 中缺乏模型聚合可减少误差放大，尤其在高本地训练轮数下更为显著。