[论文解读] FOCUS: Fairness via Agent-Awareness for Federated Learning on Heterogeneous Data

Wenda Chu, Chulin Xie+6 more|arXiv (Cornell University)|Jul 21, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出 FOCUS，一种联邦学习算法，通过基于聚类的模型个性化显式建模代理级别的数据异质性，从而提升公平性。该方法引入了一种新的公平性度量指标——基于代理感知的公平性（FAA），确保高质量数据贡献者不会因低质量代理而受到惩罚，在保持与 FedAvg 相当的准确率的同时，显著提升了公平性。

ABSTRACT

Federated learning (FL) allows agents to jointly train a global model without sharing their local data. However, due to the heterogeneous nature of local data, it is challenging to optimize or even define fairness of the trained global model for the agents. For instance, existing work usually considers accuracy equity as fairness for different agents in FL, which is limited, especially under the heterogeneous setting, since it is intuitively "unfair" to enforce agents with high-quality data to achieve similar accuracy to those who contribute low-quality data, which may discourage the agents from participating in FL. In this work, we propose a formal FL fairness definition, fairness via agent-awareness (FAA), which takes different contributions of heterogeneous agents into account. Under FAA, the performance of agents with high-quality data will not be sacrificed just due to the existence of large amounts of agents with low-quality data. In addition, we propose a fair FL training algorithm based on agent clustering (FOCUS) to achieve fairness in FL measured by FAA. Theoretically, we prove the convergence and optimality of FOCUS under mild conditions for linear and general convex loss functions with bounded smoothness. We also prove that FOCUS always achieves higher fairness in terms of FAA compared with standard FedAvg under both linear and general convex loss functions. Empirically, we show that on four FL datasets, including synthetic data, images, and texts, FOCUS achieves significantly higher fairness in terms of FAA while maintaining competitive prediction accuracy compared with FedAvg and state-of-the-art fair FL algorithms.

研究动机与目标

• 解决联邦学习中缺乏能够考虑代理间数据质量异质性的稳健公平性定义的问题。
• 防止高质量数据贡献者因全局模型聚合中低质量数据而受到惩罚。
• 设计一种训练算法，在不牺牲模型准确率的前提下实现更强的公平性。
• 形式化一种公平性度量指标 FAA，用于衡量各代理在性能提升（超额风险减少）方面的公平性。

提出的方法

• 基于代理间超额风险差异，提出基于代理感知的公平性（FAA）作为新的公平性度量指标。
• 提出 FOCUS，一种基于聚类的联邦学习算法，通过数据分布相似性对代理进行分组，并为每个聚类独立训练模型。
• 在推理阶段使用聚类特定模型的加权聚合，以提升公平性与实用性。
• 理论上证明了 FOCUS 在线性及一般凸损失函数下，于弱条件下具有收敛性与最优性。
• 证明了在线性与凸设置下，FOCUS 的 FAA 显著高于 FedAvg。
• 在四个数据集（合成数据、图像、文本）上实证验证 FOCUS，结果表明其在保持竞争力准确率的同时显著提升了公平性。

实验结果

研究问题

• RQ1 在联邦学习中，如何定义一种稳健的公平性标准，以考虑代理间数据质量的异质性？
• RQ2 如何在不损害高质量数据贡献者性能的前提下增强公平性？
• RQ3 在数据异质性条件下，基于聚类的联邦学习方法能否实现比标准 FedAvg 更好的公平性？
• RQ4 此类框架中，公平性与收敛性可提供哪些理论保证？
• RQ5 在公平性与准确率方面，FOCUS 与当前最先进的公平联邦学习算法相比表现如何？

主要发现

• 在四个多样化数据集上，FOCUS 在 FAA 指标上显著优于 FedAvg 与当前最先进的公平联邦学习算法。
• 理论分析证明，在弱条件下 FOCUS 收敛至与最优聚类解指数接近的驻点。
• FOCUS 确保高质量数据代理不会因低质量数据贡献者而遭受性能下降。
• 该算法在提升公平性的同时保持了具有竞争力的预测准确率，这一结果由 FAA 指标衡量。
• 实证结果表明，在合成数据、图像与文本数据集的异质数据设置下，FOCUS 在公平性方面表现出一致的增益。
• 理论边界证实，尤其在高异质性环境下，FOCUS 比 FedAvg 更有效地减少公平性偏差。