[论文解读] Hybrid-FL: Cooperative Learning Mechanism Using Non-IID Data in Wireless Networks.

Naoya Yoshida, Takayuki Nishio+3 more|arXiv (Cornell University)|May 17, 2019

Privacy-Preserving Technologies in Data被引用 37

一句话总结

本文提出 Hybrid-FL，一种协作联邦学习机制，通过允许一小部分客户端（少于1%）将数据上传至服务器，缓解了非独立同分布（non-IID）数据带来的性能下降问题。通过结合使用上传数据的服务器端模型更新与客户端本地训练，并采用启发式算法进行客户端和数据选择，Hybrid-FL 在非 IID 环境下相比先前方法将模型准确率提升了 13.5%。

ABSTRACT

This paper proposes a cooperative mechanism for mitigating the performance degradation due to non-independent-and-identically-distributed (non-IID) data in collaborative machine learning (ML), namely federated learning (FL), which trains an ML model using the rich data and computational resources of mobile clients without gathering their data to central systems. The data of mobile clients is typically non-IID owing to diversity among mobile clients' interests and usage, and FL with non-IID data could degrade the model performance. Therefore, to mitigate the degradation induced by non-IID data, we assume that a limited number (e.g., less than 1%) of clients allow their data to be uploaded to a server, and we propose a hybrid learning mechanism referred to as Hybrid-FL, wherein the server updates the model using the data gathered from the clients and aggregates the model with the models trained by clients. The Hybrid-FL solves both client- and data-selection problems via heuristic algorithms, which try to select the optimal sets of clients who train models with their own data, clients who upload their data to the server, and data uploaded to the server. The algorithms increase the number of clients participating in FL and make more data gather in the server IID, thereby improving the prediction accuracy of the aggregated model. Evaluations, which consist of network simulations and ML experiments, demonstrate that the proposed scheme achieves a 13.5% higher classification accuracy than those of the previously proposed schemes for the non-IID case.

研究动机与目标

• 解决移动客户端间非独立同分布（non-i.i.d.）数据导致的联邦学习性能下降问题。
• 克服在设备间数据分布高度偏斜时，纯客户端训练在联邦学习中的局限性。
• 通过使服务器能够利用一小部分经过精心选择的上传客户端数据来增强全局模型更新，从而提升模型准确率。
• 在协作学习框架中同时解决客户端选择与数据选择问题，以最大化参与度与数据多样性。

提出的方法

• 提出一种混合学习机制 Hybrid-FL，结合使用上传客户端数据的服务器端模型更新与使用本地数据的客户端端模型训练。
• 使用启发式算法选择最优的客户端集合用于模型训练和数据上传，平衡参与度与数据效用。
• 使服务器能够聚合来自客户端的模型，并利用上传数据更新其全局模型，从而提升训练数据的代表性。
• 将客户端与数据选择过程建模为联合优化问题，在通信与隐私约束下最大化模型准确率。
• 在单个联邦学习轮次中整合本地学习与服务器端学习阶段，确保全局模型的一致性与收敛性。
• 利用极少数客户端（例如，<1%）的有限数据提升服务器模型，使其对非 IID 分布更具鲁棒性。

实验结果

研究问题

• RQ1 在移动客户端间存在高度非 IID 数据分布的情况下，如何提升联邦学习的性能？
• RQ2 在保护隐私的联邦学习环境中，客户端参与度、数据上传与模型准确率之间的最优权衡是什么？
• RQ3 结合客户端与服务器端学习的混合模型更新策略，能否减少因数据偏斜导致的性能下降？
• RQ4 启发式算法在选择最佳客户端与数据子集方面，对提升模型收敛性与准确率的有效性如何？

主要发现

• 在非 IID 数据场景下，Hybrid-FL 相较于先前提出的方案，分类准确率提高了 13.5%。
• 少量上传的客户端数据样本显著提升了服务器训练数据的代表性。
• 基于启发式的客户端与数据选择算法成功增加了参与客户端数量，同时提升了服务器端的数据多样性。
• 混合训练机制有效缓解了因数据偏斜导致的性能下降，优于纯客户端或纯服务器端方法。
• 网络仿真与机器学习实验验证了 Hybrid-FL 在无线网络环境中的鲁棒性与可扩展性。
• 该方法通过仅将数据上传限制在极少数客户端，有效保护了隐私，同时实现了显著的准确率提升。