[论文解读] Enforcing fairness in private federated learning via the modified method of differential multipliers.

Borja Rodríguez-Gálvez, Filip Granqvist+2 more|arXiv (Cornell University)|Sep 17, 2021

Privacy-Preserving Technologies in Data参考文献 43被引用 22

一句话总结

本文提出FPFL，一种新颖的算法，通过将修正的乘子法扩展至集中式和联邦学习场景，以在联邦学习中强制执行群体公平性约束。实验表明，FPFL能有效缓解差分隐私联邦学习中代表性不足群体的性能显著下降问题，实验结果基于联邦Adult数据集和不公平FEMNIST数据集。

ABSTRACT

Federated learning with differential privacy, or private federated learning, provides a strategy to train machine learning models while respecting users' privacy. However, differential privacy can disproportionately degrade the performance of the models on under-represented groups, as these parts of the distribution are difficult to learn in the presence of noise. Existing approaches for enforcing fairness in machine learning models have considered the centralized setting, in which the algorithm has access to the users' data. This paper introduces an algorithm to enforce group fairness in private federated learning, where users' data does not leave their devices. First, the paper extends the modified method of differential multipliers to empirical risk minimization with fairness constraints, thus providing an algorithm to enforce fairness in the central setting. Then, this algorithm is extended to the private federated learning setting. The proposed algorithm, FPFL, is tested on a federated version of the Adult dataset and an unfair version of the FEMNIST dataset. The experiments on these datasets show how private federated learning accentuates unfairness in the trained models, and how FPFL is able to mitigate such unfairness.

研究动机与目标

• 为解决在差分隐私联邦学习中，代表性不足群体受到更大性能损害的不公平模型表现问题。
• 将集中式场景下的公平性感知优化扩展至联邦学习场景，其中数据保留在本地设备上。
• 开发一种在联邦训练中同时保障群体公平性和差分隐私的方法。
• 通过实证评估差分隐私对公平性的影响，以及所提方法在真实联邦数据集上的有效性。

提出的方法

• 将修正的乘子法扩展至集中式场景，以求解带公平性约束的经验风险最小化问题。
• 通过分布式优化框架，将集中式公平性约束优化方法适配至联邦学习场景。
• 在联邦优化过程中集成差分隐私，以确保用户数据隐私。
• 采用对偶上升法，通过拉格朗日乘子在分布式环境中强制执行公平性约束。
• 在模型更新过程中对梯度注入噪声，以满足差分隐私保证。
• 采用本地更新与聚合机制，客户端在本地训练，并仅向服务器发送更新后的模型参数。

实验结果

研究问题

• RQ1 联邦学习中的差分隐私在多大程度上影响代表性不足群体的模型性能？
• RQ2 在数据未集中化的联邦学习场景中，能否有效实施公平性约束？
• RQ3 如何将修正的乘子法适配至分布式、隐私保护的场景以引入公平性约束？
• RQ4 与标准的私有联邦学习相比，所提出的FPFL算法在多大程度上缓解了不公平性？

主要发现

• 由于差分隐私引入的额外噪声，私有联邦学习加剧了代表性不足群体的模型性能不公平性。
• 所提出的FPFL算法在联邦Adult和不公平FEMNIST数据集中，成功减少了不同群体间的性能差异。
• FPFL在保持强隐私保证的同时，相比标准私有联邦学习显著提升了公平性指标。
• 该算法实现了不同人口统计群体间更均衡的准确率分布，尤其显著改善了代表性不足子群体的表现。
• 实证结果表明，FPFL在公平性指标（如平等机会和平均奇偶差异）上优于非公平基线方法。