[论文解读] Collaborative Fairness in Federated Learning

Lingjuan Lyu, Xinyi Xu+1 more|arXiv (Cornell University)|Aug 27, 2020

Privacy-Preserving Technologies in Data参考文献 13被引用 10

一句话总结

本文提出了一种新型框架——协作公平联邦学习（CFFL），通过动态声誉机制根据参与者的贡献度分配不同的模型更新，确保公平性的同时不牺牲模型准确性。CFFL 在保持与集中式训练相当的准确性的同时，相比独立训练和标准联邦学习，实现了更高的公平性。

ABSTRACT

In current deep learning paradigms, local training or the Standalone framework tends to result in overfitting and thus poor generalizability. This problem can be addressed by Distributed or Federated Learning (FL) that leverages a parameter server to aggregate model updates from individual participants. However, most existing Distributed or FL frameworks have overlooked an important aspect of participation: collaborative fairness. In particular, all participants can receive the same or similar models, regardless of their contributions. To address this issue, we investigate the collaborative fairness in FL, and propose a novel Collaborative Fair Federated Learning (CFFL) framework which utilizes reputation to enforce participants to converge to different models, thus achieving fairness without compromising the predictive performance. Extensive experiments on benchmark datasets demonstrate that CFFL achieves high fairness, delivers comparable accuracy to the Distributed framework, and outperforms the Standalone framework.

研究动机与目标

• 为解决联邦学习中缺乏协作公平性的问题，即所有参与者无论贡献如何都接收相同的模型。
• 设计一种根据参与者对模型性能的实际贡献进行奖励的框架。
• 在通过基于声誉的模型分配实现公平性的同时，保持高预测准确性。
• 实现在金融和医疗等对公平性和信任至关重要的现实场景中的实际部署。
• 通过自动检测并隔离低贡献参与者，消除搭便车行为。

提出的方法

• 引入声誉机制，基于参与者在本地验证集上的实际模型性能，迭代评估并更新其贡献度。
• 服务器根据参与者的当前声誉得分，为其提供个性化的模型更新，且更新量按声誉得分缩放。
• 使用声誉阈值 $ c_{th} $ 来检测并隔离因贡献低导致声誉下降的搭便车者。
• 框架采用基于效用的奖励函数，反映每个参与者模型更新的边际贡献。
• 应用预训练以提升收敛稳定性与公平性，尤其在数据不平衡场景下。
• 系统在通信轮次间动态调整模型分配，以反映实时贡献。

实验结果

研究问题

• RQ1 如何修改联邦学习，以确保参与者获得与其贡献相称的模型？
• RQ2 基于声誉的机制能否在无需外部激励的情况下有效区分高贡献与低贡献参与者？
• RQ3 基于声誉的模型分配是否能与标准联邦学习相比保持高预测准确性？
• RQ4 系统如何处理上传随机或噪声更新的搭便车者？
• RQ5 声誉阈值选择对公平性与收敛性有何影响？

主要发现

• CFFL 在公平性方面显著优于独立训练和标准联邦学习，参与者根据贡献度收敛到不同的模型。
• CFFL 中贡献最高的参与者达到的准确性与集中式（分布式）框架相当，优于独立基线。
• CFFL 在所有基准数据集和数据不平衡场景下，始终提供比独立模型更高的个体模型准确性。
• 上传随机梯度的搭便车者在训练初期即被自动检测并隔离，且对整体收敛性与准确性无负面影响。
• 预训练提升了公平性与收敛稳定性，尤其在参与者更多或数据分布不平衡的系统中效果更显著。
• 声誉机制能有效区分贡献度，低绩效参与者获得质量较低的模型，从而实现公平性。