[论文解读] Fairness and Accuracy in Federated Learning

Wei Huang, Tianrui Li+3 more|arXiv (Cornell University)|Dec 18, 2020

Privacy-Preserving Technologies in Data参考文献 37被引用 36

一句话总结

本文提出 FedFa，是一种具有双动量和公平感知权重策略的联邦学习算法，旨在提高异质客户端的收敛速度和公平性。

ABSTRACT

In the federated learning setting, multiple clients jointly train a model under the coordination of the central server, while the training data is kept on the client to ensure privacy. Normally, inconsistent distribution of data across different devices in a federated network and limited communication bandwidth between end devices impose both statistical heterogeneity and expensive communication as major challenges for federated learning. This paper proposes an algorithm to achieve more fairness and accuracy in federated learning (FedFa). It introduces an optimization scheme that employs a double momentum gradient, thereby accelerating the convergence rate of the model. An appropriate weight selection algorithm that combines the information quantity of training accuracy and training frequency to measure the weights is proposed. This procedure assists in addressing the issue of unfairness in federated learning due to preferences for certain clients. Our results show that the proposed FedFa algorithm outperforms the baseline algorithm in terms of accuracy and fairness.

研究动机与目标

• 在数据异质性和有限通信条件下，激励并解决联邦学习中的公平性与准确性挑战。
• 引入一个双动量梯度框架，以在客户端和服务器端加速收敛。
• 开发基于信息量的加权策略，在聚合过程中降低客户端之间的不公平性。
• 在合成与真实联邦数据集上对比基线方法评估 FedFa，展示在收敛性和公平性方面的改进。

提出的方法

• 在客户端和服务器端引入双动量梯度下降，以加速收敛并减少通信轮次。
• 服务端动量使用近似全局梯度（相邻全局模型之间的差值），每 b 轮更新一次以反映历史梯度。
• 客户端侧动量对本地模型更新应用标准动量。
• 提出一种结合从训练准确度推导的归一化信息量（Acc_inf）和参与频率（f_inf）的加权策略，用于计算聚合权重。
• 计算 Acc_inf = -log2(Acc)（为处理零设一个很小的常数），以及 f_inf = -log2(1-f)（为处理零设一个很小的常数），对二者归一化后形成 weight_i = alpha * Acc_inf + beta * f_inf（alpha + beta = 1）。
• 使用 weight_i 汇聚更新，然后将服务器动量应用于全局模型。

实验结果

研究问题

• RQ1 在非 IID 和大规模联邦网络中，FedFa 是否能比 FedAvg 与 FedProx 在收敛速度和稳定性方面有所提升？
• RQ2 将基于准确度和参与频率的加权整合，是否在保持或提高整体准确性的同时降低客户端间的公平性相关差异？

主要发现

• FedFa 在 IID 与非 IID 的合成数据集及真实数据集上均比 FedAvg 与 FedProx 收敛更快、更稳定。
• 客户端和服务器端的双动量提升能更好地处理异质性并加速全局收敛。
• 提出的加权策略在大多数非 IID 设置中降低了设备最终准确率的方差，并提升了最差和前20%设备的准确率。
• 在异质性逐步增加的合成数据集上，FedFa 相较基线显示更高的平均准确率和更低的方差（具体数值取决于数据集）。
• 在真实数据集（MNIST、FEMNIST、Shakespeare、Sent140）上，FedFa 在收敛行为和公平性指标方面优于基线，在若干情况下改善了最差情况和总体性能。