[论文解读] FedProf: Optimizing Federated Learning with Dynamic Data Profiling.

Wentai Wu, Ligang He+4 more|arXiv (Cornell University)|Feb 2, 2021

Privacy-Preserving Technologies in Data被引用 7

一句话总结

FedProf 提出了一种隐私保护的联邦学习框架，通过模型-数据足迹（源自全局模型首个全连接层的输出分布）实现动态数据画像，以识别并降低低质量数据客户端的权重。通过基于足迹匹配自适应调整客户端参与度，FedProf 将收敛轮数减少高达75%，训练时间减少高达68%，同时将全局模型准确率提升高达2.5%。

ABSTRACT

Federated Learning (FL) has shown great potential as a privacy-preserving solution to learning from decentralized data which are only accessible locally on end devices (i.e., clients). In many scenarios, however, a large proportion of the clients are probably in possession of only low-quality data that are biased, noisy or even irrelevant. As a result, they could significantly degrade the quality of the global model we aim to build and slow down its convergence in the course of FL. In light of this, we propose a novel approach to optimizing FL under such circumstances without breaching data privacy. The key of our approach is a dynamic data profiling method for generating model-data footprints on each client and the server. The footprint encodes the representation of the global model on the corresponding data partition based on the output distribution of the model's first fully-connected layer (FC-1). By matching the footprints from clients and the server, we adaptively adjust each client's opportunity of participation in each FL round to mitigate the impact from the clients with low-quality data. We have conducted extensive experiments on public data sets using various FL settings. Results show that our method significantly reduces the number of rounds (by up to 75\%) and overall time (by up to 68\%) required to have the global model converge whiling increasing the global model's accuracy by up to 2.5\%.

研究动机与目标

• 为解决联邦学习中客户端提供的低质量、噪声或有偏见数据所导致的模型性能下降与收敛变慢问题。
• 开发一种隐私保护方法，可在不暴露原始数据的情况下识别低质量客户端。
• 通过基于数据质量自适应调整客户端参与度，提升联邦学习的收敛速度与全局模型准确率。
• 利用源自模型激活的模型-数据足迹，实现实时、动态的客户端优先级排序。

提出的方法

• 客户端通过分析其本地数据在全局模型首个全连接层（FC-1）输出分布，生成模型-数据足迹。
• 服务器聚合并匹配客户端足迹与其自身足迹，以评估数据质量与一致性。
• 足迹不匹配或不稳定的客户端（表明数据质量低）在后续联邦学习轮次中被分配较低的参与概率。
• 每轮根据足迹相似度动态调整参与概率，从而在不共享原始数据的前提下降低劣质数据的影响。
• 该方法完全运行于联邦学习框架内，保护数据隐私的同时实现质量感知的客户端选择。
• 以足迹匹配作为数据质量的代理指标，避免直接传输数据或进行标签标注。

实验结果

研究问题

• RQ1 如何在不损害数据隐私的前提下检测联邦学习中客户端的低质量数据？
• RQ2 基于数据质量的动态客户端参与度在多大程度上能提升联邦学习的收敛速度与模型准确率？
• RQ3 全连接层第一层的模型激活能否作为去中心化学习中数据质量的可靠代理？
• RQ4 通过足迹匹配实现的自适应客户端选择与均匀或随机客户端参与相比有何差异？
• RQ5 数据质量感知的客户端加权对多样化联邦学习场景下的训练时间与模型收敛有何影响？

主要发现

• 与基线方法相比，FedProf 将模型收敛所需的联邦学习轮数减少高达75%。
• 该方法在多个公开数据集和联邦学习配置下，整体训练时间减少高达68%。
• 由于低质量数据源的影响减小，全局模型准确率提升高达2.5%。
• 即使无法访问原始数据，也能通过基于足迹的匹配有效识别并降低劣质数据客户端的权重。
• 客户端参与度的动态调整显著加快了收敛速度，且未损害模型泛化能力。
• 该方法保持了强大的隐私保障，因为足迹计算与匹配过程中未共享任何原始数据或标签。