[论文解读] A Real-time Contribution Measurement Method for Participants in Federated Learning

Boyi Liu, Bingjie Yan+5 more|arXiv (Cornell University)|Sep 8, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用 6

一句话总结

本文提出了一种实时、在线的评估方法，用于衡量联邦学习中参与者的贡献，该方法具备对数据质量和数量的敏感性。与Shapley值相比，该方法在动态、隐私保护的协作学习环境中展现出更高的响应速度和准确性。

ABSTRACT

In recent years, individuals, business organizations or the country have paid more and more attention to their data privacy. At the same time, with the rise of federated learning, federated learning is involved in more and more fields. However, there is no good evaluation standard for each agent participating in federated learning. This paper proposes an online evaluation method for federated learning and compares it with the results obtained by Shapley Value in game theory. The method proposed in this paper is more sensitive to data quality and quantity.

研究动机与目标

• 解决联邦学习系统中参与者贡献缺乏有效评估标准的问题。
• 开发一种动态、在线的方法，在联邦训练过程中评估代理贡献，而非事后评估。
• 与现有博弈论方法相比，提升对参与者之间数据质量与数量差异的敏感性。
• 为隐私保护的协作学习提供一种实用且可扩展的实时贡献度量解决方案。

提出的方法

• 提出一种在线评估框架，可在联邦学习轮次中持续测量参与者的贡献。
• 设计一种贡献度量指标，根据每个客户端的数据质量与数量动态调整。
• 整合实时模型更新与性能反馈，以反映当前客户端的影响。
• 采用轻量级计算模型，确保在分布式训练中计算开销低。
• 使用经验性能增益作为贡献的代理指标，并在每轮通信中迭代更新。
• 将所提方法与Shapley值进行对比，作为公平性和准确性的基准。

实验结果

研究问题

• RQ1 如何在联邦学习训练过程中实时评估参与者的贡献？
• RQ2 所提方法在多大程度上比Shapley值更敏感于数据质量和数量？
• RQ3 轻量级、在线的贡献度量方法是否能在无需完整重新计算的情况下保持准确性？
• RQ4 在客户端参与动态变化的情况下，该方法与博弈论基线相比表现如何？

主要发现

• 所提方法在对数据质量和数量的敏感性方面优于Shapley值。
• 该方法可在无需事后计算的情况下实现实时贡献度量。
• 评估框架保持了较低的计算开销，适用于大规模联邦学习。
• 该方法在训练迭代过程中能提供更及时的客户端贡献反馈。
• 当数据质量变化时，结果与实际模型性能增益的对齐度更高。
• 在数据分布随时间动态变化的环境中，该方法优于Shapley值。