[论文解读] GIFAIR-FL: A Framework for Group and Individual Fairness in Federated Learning

Xubo Yue, Maher Nouiehed+1 more|arXiv (Cornell University)|Aug 5, 2021

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文提出了一种新型联邦学习框架 GIFAIR-FL，通过引入一种惩罚客户端群体间损失差异的正则化项，同时强制实现群体公平性和个体公平性。该方法在独立同分布（i.i.d.）和非独立同分布（non-i.i.d.）数据设置下，于非凸和强凸优化场景中均保证收敛，且在图像分类和文本预测任务中实现了更高的公平性，同时不损失准确性。

ABSTRACT

In this paper we propose exttt{GIFAIR-FL}: a framework that imposes extbf{G}roup and extbf{I}ndividual extbf{FAIR}ness to extbf{F}ederated extbf{L}earning settings. By adding a regularization term, our algorithm penalizes the spread in the loss of client groups to drive the optimizer to fair solutions. Our framework exttt{GIFAIR-FL} can accommodate both global and personalized settings. Theoretically, we show convergence in non-convex and strongly convex settings. Our convergence guarantees hold for both $i.i.d.$ and non-$i.i.d.$ data. To demonstrate the empirical performance of our algorithm, we apply our method to image classification and text prediction tasks. Compared to existing algorithms, our method shows improved fairness results while retaining superior or similar prediction accuracy.

研究动机与目标

• 解决联邦学习中因客户端数据或资源有限而导致其在模型训练中被边缘化的问题。
• 开发一种统一框架，同时实现群体公平性（跨人口统计或数据分布群体）和个体公平性（按客户端的公平性）。
• 为非凸和强凸目标函数在 i.i.d. 和 non-i.i.i. 数据分布下提供理论收敛保证。
• 在真实世界任务（如图像分类和文本预测）上实证验证该框架，证明其在保持高准确率的同时显著提升了公平性。

提出的方法

• 在全局目标函数中引入正则化项，惩罚不同客户端群体之间的损失方差，以促进性能均衡。
• 采用加权聚合机制，根据群体层面的损失分布调整客户端贡献，以促进更公平的收敛。
• 构建收敛性分析框架，证明在非凸和强凸设置下的收敛性，并给出期望梯度范数的界。
• 通过将公平性正则化整合到模型更新过程中，支持全局和个性化联邦学习设置。
• 推导出期望梯度范数和最优性差距的理论界，表明在递减步长下可实现收敛。
• 在 FEMNIST 等标准基准上，将该方法应用于图像和文本任务，并对公平性超参数 λ 进行敏感性分析。

实验结果

研究问题

• RQ1 统一框架是否能在不损害模型准确率的前提下，有效同时实现联邦学习中的群体公平性和个体公平性？
• RQ2 所提出的正则化项在 i.i.i. 和 non-i.i.d. 数据下，对非凸和强凸优化设置中的收敛性有何影响？
• RQ3 公平性超参数 λ 对不同客户端群体之间公平性与模型性能权衡的影响如何？
• RQ4 在真实世界任务中，GIFAIR-FL 相较于现有公平性感知的联邦学习方法，在公平性指标和准确率方面表现如何？
• RQ5 GIFAIR-FL 的理论收敛保证是否可扩展至个性化联邦学习设置？

主要发现

• GIFAIR-FL 显著降低了群体间的损失差异，敏感性分析表明增大 λ 可减小群体性能指标之间的差距。
• 即使在 non-i.i.d. 数据分布下，该框架仍能保持或提升预测准确率，优于基线方法。
• 理论分析证实了在非凸和强凸设置下的收敛性，且在递减步长下，期望梯度范数以 O(1/√T) 的速率下降。
• 为全局和个性化联邦学习设置推导出收敛界，明确依赖于数据异质性和客户端方差。
• 在 FEMNIST 和文本预测任务上的实证结果表明，所有客户端群体的公平性均得到一致提升，尤其对代表性不足或数据量少的客户端效果显著。
• 该方法对不同数据分布具有鲁棒性，在多个通信轮次中保持稳定性能，且准确率下降极小。