[论文解读] Hierarchically Fair Federated Learning

Jingfeng Zhang, Cheng Li+2 more|arXiv (Cornell University)|Apr 22, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用 43

一句话总结

提出层次化公平联邦学习（HFFL），在联邦设定中按贡献水平比例奖励代理；扩展版 HFFL+ 支持异构模型。通过在多个数据集的经验评估展示公平性与改进的泛化能力。

ABSTRACT

When the federated learning is adopted among competitive agents with siloed datasets, agents are self-interested and participate only if they are fairly rewarded. To encourage the application of federated learning, this paper employs a management strategy, i.e., more contributions should lead to more rewards. We propose a novel hierarchically fair federated learning (HFFL) framework. Under this framework, agents are rewarded in proportion to their pre-negotiated contribution levels. HFFL+ extends this to incorporate heterogeneous models. Theoretical analysis and empirical evaluation on several datasets confirm the efficacy of our frameworks in upholding fairness and thus facilitating federated learning in the competitive settings.

研究动机与目标

• 在代理具有自利性并且数据隔离的情况下，推动联邦学习中的公平性。
• 提出基于贡献的奖励机制，贡献越多奖励越大。
• 引入 HFFL 在多个贡献水平学习模型并证明按比例的公平性。
• 扩展到 HFFL+，允许在各层之间采用异构模型体系结构。
• 提供理论与实证证明：更多数据带来更好的泛化与更高奖励。

提出的方法

• 基于公开可验证的因素（数据量、数据质量、数据收集成本等）将代理分为多个贡献水平。
• 在每个水平，使用到当前为止来自所有水平的数据训练一个共享模型 f_l，使更高水平贡献更多数据以得到更高保真度的模型。
• 在每个水平内，使用 FedAvg 风格的参数聚合在代理之间以更新本地和全局模型。
• 提供扩展 HFFL+，在不同模型架构下运行 HFFL，并为每个水平选取表现最佳的模型。
• 给出一个理论界限，将更多数据与较低泛化误差联系起来（通过标准泛化论证）。
• 通过在四个数据集上进行固定的三层层次的实验来验证公平性和性能。

实验结果

研究问题

• RQ1 是否可以在奖励与贡献水平成比例时诱导代理参与联邦学习？
• RQ2 分层贡献基学习（HFFL）是否实现按比例的公平性并提高高贡献代理的模型？
• RQ3 扩展到异构模型（HFFL+）是否在保持公平性的同时进一步提高各层次的性能？
• RQ4 在联邦设置中，上层可用数据量是否与更好的泛化/误差界限相关？
• RQ5 公开可验证的贡献因素是否足以防止因模型依赖或基于 Shapley 的估值陷阱在激励设计中的使用？

主要发现

• 在所有四个数据集上，贡献水平更高的模型的性能均优于较低水平的模型。
• HFFL+ 通过为每个水平选择不同的架构，始终比 HFFL 提供更高的模型分数。
• 在较高层次具有更多数据会得到具有更好泛化潜力的模型，这与理论分析一致。
• 在 ADULT、MNIST、Fashion MNIST 和 IMDB 数据集上的实证结果证实了所提出的公平性机制及其在跨任务中的实用性。