[论文解读] Fairness in Federated Learning via Core-Stability

Bhaskar Ray Chaudhury, Linyi Li+3 more|arXiv (Cornell University)|Nov 3, 2022

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本文通过合作博弈论引入联邦学习中的核心稳定公平性，确保任何代理组合都无法通过偏离全局模型而获益。所提出的协议CoreFed实现了核心稳定的预测器，对低质量数据具有鲁棒性，满足比例性和帕累托最优性，并在CIFAR-10和Adult等真实数据集上，公平性优于FedAvg，同时保持相似的准确率。

ABSTRACT

Federated learning provides an effective paradigm to jointly optimize a model benefited from rich distributed data while protecting data privacy. Nonetheless, the heterogeneity nature of distributed data makes it challenging to define and ensure fairness among local agents. For instance, it is intuitively "unfair" for agents with data of high quality to sacrifice their performance due to other agents with low quality data. Currently popular egalitarian and weighted equity-based fairness measures suffer from the aforementioned pitfall. In this work, we aim to formally represent this problem and address these fairness issues using concepts from co-operative game theory and social choice theory. We model the task of learning a shared predictor in the federated setting as a fair public decision making problem, and then define the notion of core-stable fairness: Given $N$ agents, there is no subset of agents $S$ that can benefit significantly by forming a coalition among themselves based on their utilities $U_N$ and $U_S$ (i.e., $\frac{|S|}{N} U_S \geq U_N$). Core-stable predictors are robust to low quality local data from some agents, and additionally they satisfy Proportionality and Pareto-optimality, two well sought-after fairness and efficiency notions within social choice. We then propose an efficient federated learning protocol CoreFed to optimize a core stable predictor. CoreFed determines a core-stable predictor when the loss functions of the agents are convex. CoreFed also determines approximate core-stable predictors when the loss functions are not convex, like smooth neural networks. We further show the existence of core-stable predictors in more general settings using Kakutani's fixed point theorem. Finally, we empirically validate our analysis on two real-world datasets, and we show that CoreFed achieves higher core-stability fairness than FedAvg while having similar accuracy.

研究动机与目标

• 解决本地数据分布非独立同分布且部分代理拥有低质量数据时联邦学习中的公平性问题。
• 形式化一种公平性概念，防止代理形成联盟以牺牲全局模型为代价提升自身效用。
• 设计一种联邦学习协议，确保核心稳定公平性、比例性和帕累托最优性。
• 通过实证验证CoreFed在公平性方面优于FedAvg，同时保持模型准确率。

提出的方法

• 将联邦学习建模为公共决策问题，其中代理从共享的全局模型中获得效用。
• 通过无阻塞联盟的存在来定义核心稳定公平性：任何子集S都无法相对于全局模型获得与其规模|S|/N成比例的效用提升。
• 提出CoreFed，一种联邦训练协议，通过凸损失函数优化核心稳定预测器，并为非凸情形（如神经网络）提供近似解。
• 利用Kakutani不动点定理证明在一般设置下核心稳定预测器的存在性。
• 通过变换模型损失为效用：U = M - ℓ，其中M为数据集特定常数，用于归一化效用尺度。
• 在CoreFed中采用基于梯度的聚合规则，通过最小化联盟形成潜力来优先考虑公平性。

实验结果

研究问题

• RQ1 我们能否在联邦学习中定义一种公平性概念，防止代理形成阻塞联盟？
• RQ2 在异构、非独立同分布数据下，核心稳定公平性如何形式化并实现？
• RQ3 CoreFed是否在公平性方面优于FedAvg，同时保持相近的模型准确率？
• RQ4 在低质量数据或噪声数据分布下，核心稳定公平性表现如何？
• RQ5 在非凸设置（如深度神经网络）中，核心稳定公平性能否得到保证？

主要发现

• CoreFed实现了核心稳定公平性，表现为∑ᵢ uᵢ(θ′)/uᵢ(θ*) < n，其中θ′为FedAvg，θ*为CoreFed，表明无任何联盟可通过偏离获得收益。
• 在Adult数据集上，CoreFed将平均效用从1.61（FedAvg）提升至1.68，乘法效用从2.91提升至3.61。
• 在CIFAR-10数据集上使用VGG-11时，CoreFed将乘法效用从2.89（FedAvg）提升至17.15，表明效用分配更公平。
• 在添加高斯噪声的噪声数据设置下，CoreFed为所有代理维持更高效用，尤其对最嘈杂的代理（1.95 vs FedAvg的1.42）。
• 在CIFAR-10上使用10个代理时，CoreFed将乘法效用从7,084（FedAvg）提升至9,173，证实了在大规模场景下的公平性优势。
• CoreFed在显著提升公平性的同时，保持与FedAvg相近的准确率，证明公平性与性能并非相互排斥。