[论文解读] FedCM: A Real-time Contribution Measurement Method for Participants in Federated Learning

Boyi Liu, Bingjie Yan+3 more|arXiv (Cornell University)|Sep 8, 2020

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出FedCM，一种用于联邦学习（FL）参与方的实时贡献度量方法，通过基于注意力的聚合机制，动态评估每个代理在各轮训练中对模型性能提升的影响。FedCM能够实现及时、轻量且对数据质量和数量高度敏感的评估，在检测低质量或数据量减少的代理方面优于最先进的方法（如Shapley值），同时可直接部署于现实世界的联邦学习系统中。

ABSTRACT

Federated Learning (FL) creates an ecosystem for multiple agents to collaborate on building models with data privacy consideration. The method for contribution measurement of each agent in the FL system is critical for fair credits allocation but few are proposed. In this paper, we develop a real-time contribution measurement method FedCM that is simple but powerful. The method defines the impact of each agent, comprehensively considers the current round and the previous round to obtain the contribution rate of each agent with attention aggregation. Moreover, FedCM updates contribution every round, which enable it to perform in real-time. Real-time is not considered by the existing approaches, but it is critical for FL systems to allocate computing power, communication resources, etc. Compared to the state-of-the-art method, the experimental results show that FedCM is more sensitive to data quantity and data quality under the premise of real-time. Furthermore, we developed federated learning open-source software based on FedCM. The software has been applied to identify COVID-19 based on medical images.

研究动机与目标

• 解决联邦学习系统中缺乏实时、公平的贡献度量方法的问题，以指导资源分配和激励机制的设计。
• 开发一种轻量级、计算高效的度量方法，无需离线计算或高资源开销即可评估代理的贡献。
• 实现实时检测贡献低质量或数据量减少的代理，提升系统响应能力。
• 支持可部署的开源联邦学习软件，集成贡献度量功能，适用于医疗影像分析等现实世界应用。
• 通过动态贡献追踪实现对表现不佳或恶意代理的早期识别，提升联邦学习的公平性与安全性。

提出的方法

• FedCM利用注意力机制，基于各客户端在训练轮次中的模型更新，动态计算每个客户端的注意力权重。
• 通过分析每轮训练前后服务器端模型参数的变化，结合当前及历史轮次的信息，实现对贡献的聚合。
• 采用数学公式计算贡献率，综合考虑各模型层的注意力权重与参数变化。
• 利用基于注意力的模型，评估每个代理更新对全局模型性能提升的影响。
• 系统设计为实时运行，每轮通信后即刻更新贡献度量，支持即时反馈以优化资源分配。
• 该方法已集成至名为FedMedical的开源联邦学习框架中，支持在隐私保护型医疗人工智能应用中部署。

实验结果

研究问题

• RQ1 如何实现实时测量联邦学习中代理的贡献，以支持动态资源分配？
• RQ2 与现有离线方法相比，所提方法在数据量和质量变化方面的敏感性如何？
• RQ3 该方法能否在训练过程中有效检测并惩罚提供低质量或数据量减少的代理？
• RQ4 与Shapley值相比，基于注意力的聚合机制在贡献度量中的公平性与响应速度有何提升？
• RQ5 该方法能否在现实世界联邦学习系统（如医疗影像分析）中高效部署，且不引入显著计算开销？

主要发现

• FedCM在检测数据量减少（如减少70%）的代理方面，对数据质量和数量的敏感度高于Shapley值。
• 在使用随机词序列作为数据的实验中，FedCM成功识别并分配低贡献给此类代理，效果与Shapley值相当，但实现了实时处理。
• 在正常数据分布下，该方法表现出一致且稳定的贡献评分，各代理间偏差极小。
• 当不同代理的数据量分别减少30%和70%时，FedCM清晰反映了其相对差异，而Shapley值未能有效捕捉这一区别。
• 基于FedCM构建的开源软件FedMedical，成功实现了跨分布式医院的隐私保护型联邦训练，用于COVID-19检测的医学影像分析。
• FedCM支持实时贡献追踪，适用于生产环境中动态激励机制与资源分配。