[论文解读] E2FL: Equal and Equitable Federated Learning

Hamid Mozaffari, Amir Houmansadr|arXiv (Cornell University)|May 20, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

E2FL 提出了一种新颖的联邦学习框架，通过训练多个全局模型并利用排序边缘投票进行聚合，实现了在个体客户端上的公平性（性能均衡）和在客户端群体上的公平性（群体间性能均衡）。与 q-FFL 和 IFCA 等基线方法相比，其客户端方差和群体方差分别降低了 93% 和 95%，同时通过交换二值掩码降低了通信成本。

ABSTRACT

Federated Learning (FL) enables data owners to train a shared global model without sharing their private data. Unfortunately, FL is susceptible to an intrinsic fairness issue: due to heterogeneity in clients' data distributions, the final trained model can give disproportionate advantages across the participating clients. In this work, we present Equal and Equitable Federated Learning (E2FL) to produce fair federated learning models by preserving two main fairness properties, equity and equality, concurrently. We validate the efficiency and fairness of E2FL in different real-world FL applications, and show that E2FL outperforms existing baselines in terms of the resulting efficiency, fairness of different groups, and fairness among all individual clients.

研究动机与目标

• 解决联邦学习中由于客户端数据分布异构性导致的固有公平性差异问题。
• 在联邦学习中同时实现用户层面公平性（平等）和群体层面公平性（公平）。
• 设计一种高效的联邦学习算法，在最小化性能差距的同时，确保所有客户端群体之间的知识共享。
• 相比现有多模型联邦学习方法，降低通信开销而不牺牲公平性或实用性。

提出的方法

• 用基于排序的神经网络边缘重要性聚合，替代标准的基于梯度的模型聚合，操作于随机初始化的超网络中。
• 通过群体特定排序的多数投票机制实现公平性，确保每个群体在全局模型中具有相等的影响力。
• 通过允许每个客户端为其下游推理选择自身群体特定的全局排序，实现客户端层面的平等。
• 利用固定范数的本地排序，确保各客户端贡献影响的均衡性，避免因大参数更新带来的偏差。
• 提出三种群体 ID 推断方法：服务器端排序聚类、客户端损失最小化，以及基于梯度的熵优化（二分查找与 OneShot 方法）。
• 仅交换源自群体排序的二值掩码，将通信成本从 IFCA 的 62.0 MB 降低至 5.99 MB。

实验结果

研究问题

• RQ1 联邦学习系统能否同时在个体客户端和群体层面上实现公平性？
• RQ2 如何在多样化客户端群体之间保持知识共享，同时避免对多数群体的偏倚？
• RQ3 在联邦学习中，基于排序的聚合与基于梯度的聚合相比，其通信成本与性能之间的权衡如何？
• RQ4 当保护属性（群体 ID）未知时，不同群体推断策略的有效性如何？
• RQ5 单一模型架构能否同时支持群体间的公平性能与个体客户端的平等性能？

主要发现

• 与 FedAvg 相比，E2FL 将客户端性能方差降低 93%，群体性能方差降低 95%，显著优于 q-FFL 和 IFCA。
• 在 FEMNIST 数据集上，E2FL 将平均准确率提高 2.5%，客户端方差降低 24%，即使在群体身份未知的情况下亦成立。
• E2FL 每轮通信成本仅为 5.99 MB，相比 IFCA 的 62.0 MB 降低了 90%，这是由于采用二值掩码交换而非完整模型权重所致。
• q-FFL 虽将平等性提升 4%，但相比 FedAvg，其公平性恶化了 81%，揭示了公平性维度之间的权衡。
• 排序聚类与最低损失群体推断方法优于 OneShot 优化，因其能通过更多轮次迭代优化群体成员归属。
• 与 q-FFL 不同，E2FL 在多数群体和少数群体中均保持了高实用性与公平性，避免了对多数群体的偏好和对少数群体的忽视。