[论文解读] Client-Edge-Cloud Hierarchical Federated Learning

Lumin Liu, Jun Zhang+2 more|arXiv (Cornell University)|May 16, 2019

Privacy-Preserving Technologies in Data参考文献 19被引用 26

一句话总结

本文提出了一种客户端-边缘-云分层联邦学习（FL）框架，以及一种新颖的HierFAVG算法，该算法可在边缘服务器实现部分模型聚合，从而减少通信开销和能耗。通过战略性地平衡本地更新与跨层级聚合，该系统相比仅使用云的FL，实现了更快的训练速度和更优的通信-计算权衡。实验结果表明，训练时间最多可减少75%，终端设备的能耗显著降低。

ABSTRACT

Federated Learning is a collaborative machine learning framework to train a deep learning model without accessing clients' private data. Previous works assume one central parameter server either at the cloud or at the edge. The cloud server can access more data but with excessive communication overhead and long latency, while the edge server enjoys more efficient communications with the clients. To combine their advantages, we propose a client-edge-cloud hierarchical Federated Learning system, supported with a HierFAVG algorithm that allows multiple edge servers to perform partial model aggregation. In this way, the model can be trained faster and better communication-computation trade-offs can be achieved. Convergence analysis is provided for HierFAVG and the effects of key parameters are also investigated, which lead to qualitative design guidelines. Empirical experiments verify the analysis and demonstrate the benefits of this hierarchical architecture in different data distribution scenarios. Particularly, it is shown that by introducing the intermediate edge servers, the model training time and the energy consumption of the end devices can be simultaneously reduced compared to cloud-based Federated Learning.

研究动机与目标

• 为解决基于云和基于边缘的FL的局限性，结合二者优势：从云获取大规模数据访问，同时在边缘实现低延迟通信。
• 设计一种分层FL架构，在保持高模型准确率的同时，减少昂贵的云通信开销。
• 开发一种新型训练算法HierFAVG，支持客户端、边缘服务器与云之间的多层级模型聚合。
• 为HierFAVG提供理论收敛保证，并推导关键系统参数的设计准则。
• 通过实证验证在真实数据分布场景下，通信、计算与能耗之间的权衡关系。

提出的方法

• 提出一种三级FL架构：客户端位于边缘，边缘服务器作为中间聚合节点，中心云服务器负责全局模型聚合。
• 引入HierFAVG算法，该算法在将模型转发至云之前，先在边缘服务器执行部分模型平均，从而减轻云通信负载。
• 使用两个关键参数建模系统：κ₁（客户端在边缘聚合前的本地更新频率）和κ₂（边缘到云的通信频率）。
• 在非独立同分布（non-i.i.d.）数据条件下，推导HierFAVG的收敛性分析，表明在数据分布和学习率的温和假设下，该算法可实现收敛。
• 建立定性设计准则：当κ₁κ₂保持不变时，减小κ₁可加快收敛速度；在非i.i.d.边缘数据条件下，增加κ₂会减缓训练速度。
• 采用MNIST和CIFAR-10数据集，在独立同分布（IID）与非独立同分布（non-IID）数据分布下，评估训练时间、能耗与模型准确率。

实验结果

研究问题

• RQ1 所提出的分层FL架构在非独立同分布数据下是否收敛？其收敛的理论条件是什么？
• RQ2 参数κ₁（客户端到边缘的更新频率）与κ₂（边缘到云的通信频率）如何影响收敛速度与模型准确率？
• RQ3 与仅使用云的FL相比，该分层FL系统能否同时减少训练时间与终端设备的能耗？
• RQ4 数据分布（IID与非IID）对HierFAVG性能有何影响，特别是在通信频率权衡方面？
• RQ5 如何配置κ₁与κ₂以在通信效率、计算成本与能耗之间实现最优平衡？

主要发现

• 在MNIST与CIFAR-10数据集上，当使用最优κ₁与κ₂值时，分层FL相比仅使用云的FL，训练时间最多可减少75%。
• 在MNIST数据集中，使用分层FL并采用适度的边缘通信（κ₂=4或10）时，终端设备能耗最多降低65%；在CIFAR-10中，能耗最多降低60%。
• 减小κ₁（更频繁的边缘聚合）可显著缩短训练时间，尤其在κ₁κ₂保持不变时，验证了收敛分析所得的第一条设计准则。
• 当边缘数据为IID时，增加κ₂（减少云更新频率）不会减缓收敛速度，表明可在不损失性能的前提下减少云通信。
• 在边缘数据为非IID时，增加κ₂会减缓收敛，验证了第二条设计准则，并凸显了需根据数据异构性动态调整参数的必要性。
• 在中间κ₂值下可实现计算与通信能耗的最佳平衡，因为过于频繁的边缘通信虽减少本地计算，但反而增加了能耗。