[论文解读] Edge-Assisted Hierarchical Federated Learning with Non-IID Data

Lumin Liu, Jun Zhang+2 more|arXiv (Cornell University)|May 16, 2019

Privacy-Preserving Technologies in Data参考文献 8被引用 52

一句话总结

本文提出一种基于移动边缘计算的分层联邦学习框架，以减少通信开销并提升非独立同分布（non-IID）数据下的模型性能。通过在云端进行全局聚合之前，先在边缘服务器上执行本地模型聚合，分层联邦平均（HierFAVG）算法在凸与非凸目标函数下均实现收敛，显著减少了通信轮次，同时相比标准FedAvg保持了较高的模型准确率。

ABSTRACT

Federated Learning (FL) is capable of leveraging massively distributed private data, e.g., on mobile phones and IoT devices, to collaboratively train a shared machine learning model with the help of a cloud server. However, its iterative training process results in intolerable communication latency, and causes huge burdens on the backbone network. Thus, reducing the communication overhead is critical to implement FL in practice. Meanwhile, the model performance degradation due to the unique non-IID data distribution at different devices is another big issue for FL. In this paper, by introducing the mobile edge computing platform as an intermediary structure, we propose a hierarchical FL architecture to reduce the communication rounds between users and the cloud. In particular, a Hierarchical Federated Averaging (HierFAVG) algorithm is proposed, which allows multiple local aggregations at each edge server before one global aggregation at the cloud. We establish the convergence of HierFAVG for both convex and non-convex objective functions with non-IID user data. It is demonstrated that HierFAVG can reach a desired model performance with less communication, and outperform the traditional Federated Averaging algorithm.

研究动机与目标

• 通过引入边缘辅助的分层架构，减少联邦学习中客户端与云端之间的通信延迟和骨干网络负载。
• 解决联邦学习系统中设备间非独立同分布（non-IID）数据分布导致的模型性能下降问题。
• 设计一种通信高效的训练算法，支持在云端进行全局聚合之前，于边缘服务器上执行多次本地聚合。
• 在非IID数据条件下，理论上证明所提算法在凸与非凸优化设置下的收敛性。

提出的方法

• 提出一种分层联邦学习架构，其中边缘服务器作为终端设备与中心云端服务器之间的中介。
• 提出分层联邦平均（HierFAVG）算法，支持在每个边缘服务器上对所属设备的模型进行多次本地聚合，再将更新后的模型发送至云端。
• 采用两级聚合机制：首先在边缘服务器上对其所属设备集群执行本地平均，随后在云端执行全局平均。
• 理论分析证明，HierFAVG在非IID数据条件下，对凸与非凸目标函数均具有收敛性。
• 利用移动边缘计算技术，将计算与通信负载从云端卸载，降低端到端延迟。
• 采用标准FedAvg风格的模型平均机制，但将其扩展至分层结构，以最小化全局通信轮次。

实验结果

研究问题

• RQ1 具有边缘服务器的分层联邦学习架构是否能够减少客户端与云端之间的通信轮次？
• RQ2 在非IID数据分布下，所提出的HierFAVG算法在收敛性与模型准确率方面表现如何？
• RQ3 HierFAVG在非IID数据条件下，对凸与非凸优化问题的理论收敛行为如何？
• RQ4 在通信效率与模型质量方面，HierFAVG与标准FedAvg相比表现如何？

主要发现

• 即使在非IID数据分布下，HierFAVG仍能实现凸与非凸目标函数的收敛。
• 与标准FedAvg相比，所提算法显著减少了达到目标模型性能所需的通信轮次。
• 通过在边缘服务器上进行局部聚合，有效缓解了非IID数据导致的模型性能下降问题。
• 在相同训练条件下，HierFAVG在通信效率与最终模型准确率方面均优于传统FedAvg。