[论文解读] Hybrid-FL for Wireless Networks: Cooperative Learning Mechanism Using Non-IID Data

Naoya Yoshida, Takayuki Nishio+3 more|arXiv (Cornell University)|May 17, 2019

Privacy-Preserving Technologies in Data参考文献 14被引用 17

一句话总结

本文提出 Hybrid-FL，一种新型联邦学习框架，通过允许一小部分客户端（少于1%）将其数据上传至中心服务器，在该服务器上训练出类似独立同分布（IID）的模型，从而缓解非独立同分布（non-IID）数据带来的性能下降问题。随后，服务器将此集中训练的模型与其它客户端在其非IID数据上训练的模型进行聚合，使在非IID数据分布下的分类准确率比以往方法高出13.5%。

ABSTRACT

This paper proposes a cooperative mechanism for mitigating the performance degradation due to non-independent-and-identically-distributed (non-IID) data in collaborative machine learning (ML), namely federated learning (FL), which trains an ML model using the rich data and computational resources of mobile clients without gathering their data to central systems. The data of mobile clients is typically non-IID owing to diversity among mobile clients' interests and usage, and FL with non-IID data could degrade the model performance. Therefore, to mitigate the degradation induced by non-IID data, we assume that a limited number (e.g., less than 1%) of clients allow their data to be uploaded to a server, and we propose a hybrid learning mechanism referred to as Hybrid-FL, wherein the server updates the model using the data gathered from the clients and aggregates the model with the models trained by clients. The Hybrid-FL solves both client- and data-selection problems via heuristic algorithms, which try to select the optimal sets of clients who train models with their own data, clients who upload their data to the server, and data uploaded to the server. The algorithms increase the number of clients participating in FL and make more data gather in the server IID, thereby improving the prediction accuracy of the aggregated model. Evaluations, which consist of network simulations and ML experiments, demonstrate that the proposed scheme achieves a 13.5% higher classification accuracy than those of the previously proposed schemes for the non-IID case.

研究动机与目标

• 解决由于移动客户端间数据分布非独立同分布（non-IID）导致的联邦学习性能下降问题。
• 在无线网络中提升模型准确率，其中客户端数据因用户兴趣和使用模式多样化而天然呈现非IID特性。
• 设计一种混合学习机制，结合本地客户端训练与小规模精选上传数据的集中式训练。
• 开发启发式客户端与数据选择算法，在资源受限和非IID数据条件下优化模型聚合。
• 在真实移动边缘计算（MEC）环境中，使用真实机器学习工作负载评估所提出机制的性能。

提出的方法

• Hybrid-FL 将客户端在本地非IID数据上训练的模型聚合结果，与通过少量客户端上传数据在中心服务器上训练的模型相结合。
• 服务器利用选定客户端上传的数据聚合结果，训练全局模型，从而在服务器端构建一个近似IID的数据集，以提升泛化能力。
• 采用启发式算法，根据客户端的计算与通信能力，选择最优客户端集合进行模型上传与数据上传。
• 选择过程在客户端多样性、数据质量与资源可用性之间取得平衡，以最大化模型效用与收敛性能。
• 通过综合考虑吞吐量、计算方差与数据分布的效用函数，集成客户端模型上传与数据上传的选择机制。
• 最终的全局模型通过平均中心训练的模型与分布式客户端的模型生成，从而提升整体性能。

实验结果

研究问题

• RQ1 当客户端数据因用户特定使用模式而呈现非IID特性时，如何提升联邦学习的性能？
• RQ2 在资源受限条件下，客户端参与模型训练与数据上传之间的最优权衡是什么？
• RQ3 少量数据上传客户端是否能通过在更具有代表性的数据集上进行集中式训练，显著提升模型准确率？
• RQ4 针对模型上传与数据上传客户端的启发式选择策略，在非IID环境下如何影响收敛性与准确率？
• RQ5 在动态变化的网络与客户端资源条件下，所提出的 Hybrid-FL 框架具有多强的鲁棒性？

主要发现

• 在非IID数据条件下，Hybrid-FL 在 CIFAR-10 数据集上的分类准确率比以往方法高出13.5%。
• 当数据上传限制在少于1%的客户端时，该方法在性能上优于标准联邦学习与集中式训练。
• 基于 minCV 的客户端选择策略优于 maxClient，主要归因于服务器端收集到的近似IID数据量高出约10%。
• Hybrid-FL (maxThroughput/minCV) 与 Hybrid-FL (IID/minCV) 变体性能相近，且优于其他配置。
• 即使在资源波动（高 r_var）条件下，Hybrid-FL 仍保持稳健性能，准确率仅因选择漂移而出现温和下降。
• 不同非IID程度（不同 σ 值）的客户端共存并未导致性能下降，Hybrid-FL 在所有设置下均保持高准确率。