[论文解读] Fair Federated Medical Image Segmentation via Client Contribution Estimation

Meirui Jiang, Holger R. Roth+7 more|arXiv (Cornell University)|Mar 29, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出FedCE，一种用于医学图像分割的新型联邦学习方法，通过在梯度空间和数据空间中联合估计客户端贡献，实现协作公平性与性能公平性的协同优化。通过结合辅助模型的梯度方向差异与预测误差，FedCE利用这些估计值作为自适应聚合权重，在真实世界医学数据集上实现了更优的性能与鲁棒性，同时提升了公平性并具备自由搭车者检测能力。

ABSTRACT

How to ensure fairness is an important topic in federated learning (FL). Recent studies have investigated how to reward clients based on their contribution (collaboration fairness), and how to achieve uniformity of performance across clients (performance fairness). Despite achieving progress on either one, we argue that it is critical to consider them together, in order to engage and motivate more diverse clients joining FL to derive a high-quality global model. In this work, we propose a novel method to optimize both types of fairness simultaneously. Specifically, we propose to estimate client contribution in gradient and data space. In gradient space, we monitor the gradient direction differences of each client with respect to others. And in data space, we measure the prediction error on client data using an auxiliary model. Based on this contribution estimation, we propose a FL method, federated training via contribution estimation (FedCE), i.e., using estimation as global model aggregation weights. We have theoretically analyzed our method and empirically evaluated it on two real-world medical datasets. The effectiveness of our approach has been validated with significant performance improvements, better collaboration fairness, better performance fairness, and comprehensive analytical studies.

研究动机与目标

• 解决联邦医学图像分割中协作公平性与性能公平性的双重挑战。
• 开发一种对数据量与数据分布偏移不敏感的鲁棒客户端贡献估计方法。
• 设计一种基于贡献估计的联邦学习算法（FedCE），用于自适应全局模型聚合。
• 在真实世界医学影像数据集上通过全面的公平性与鲁棒性分析，实证验证该方法的有效性。
• 利用贡献估计指标在训练早期阶段检测自由搭车客户端。

提出的方法

• 通过测量本地模型更新与全局模型更新之间的方向差异，估计客户端在梯度空间中的贡献。
• 通过客户端数据上的预测误差，利用排除客户端的辅助模型量化其在数据空间中的贡献。
• 采用乘法或加法策略，将梯度空间与数据空间的度量结果结合，形成综合贡献得分。
• 将估计的客户端贡献用作全局模型聚合中的自适应权重，以提升收敛性与公平性。
• 理论分析建立了在数据分布偏移下模型收敛性保证与鲁棒性边界。
• 利用训练过程中自然生成的梯度与模型输出，避免引入额外计算开销。

实验结果

研究问题

• RQ1 结合梯度空间与数据空间的客户端贡献估计，是否能同时提升联邦医学图像分割中的协作公平性与性能公平性？
• RQ2 所提出的贡献估计指标对数据分布偏移与客户端异构性的鲁棒性如何？
• RQ3 该方法是否能在训练早期阶段检测出自由搭车客户端？
• RQ4 使用基于贡献的聚合权重是否能带来优于标准联邦学习方法的分割性能？
• RQ5 梯度空间与数据空间度量各自对整体性能的贡献如何？

主要发现

• 在两个真实世界医学图像分割数据集上，FedCE在分割准确率与公平性指标方面显著优于当前最先进的联邦学习方法。
• 贡献估计指标对数据分布偏移表现出高度鲁棒性，当从数据集中排除一个客户端时，其值变化低于1%。
• 在训练10个轮次内即可以高置信度检测到自由搭车客户端，展现出优异的早期检测能力。
• 消融实验证实，梯度空间与数据空间度量均不可或缺，仅使用其一会导致性能下降。
• 梯度与数据空间贡献的结合带来更优性能，在低异构性场景（如前列腺分割）中实现微小但稳定的性能增益。
• 理论分析验证了FedCE的收敛性，并给出了在数据分布偏移下值变化的上界，进一步支持其鲁棒性。