[论文解读] Local Averaging Helps: Hierarchical Federated Learning and Convergence Analysis.

Jiayi Wang, Shiqiang Wang+2 more|arXiv (Cornell University)|Oct 24, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用 46

一句话总结

本文提出分层联邦学习随机梯度下降（HF-SGD），通过在中间枢纽引入局部平均，减少全局通信频率，从而提升通信效率。理论分析表明，局部平均可加快收敛速度并提高模型准确率，尤其在计算和通信资源受限的环境下效果显著，实验结果验证了该方法的性能增益。

ABSTRACT

Federated learning is an effective approach to realize collaborative learning among edge devices without exchanging raw data. In practice, these devices may connect to local hubs instead of connecting to the global server (aggregator) directly. Due to the (possibly limited) computation capability of these local hubs, it is reasonable to assume that they can perform simple averaging operations. A natural question is whether such local averaging is beneficial under different system parameters and how much gain can be obtained compared to the case without such averaging. In this paper, we study hierarchical federated learning with stochastic gradient descent (HF-SGD) and conduct a thorough theoretical analysis to analyze its convergence behavior. In particular, we first consider the two-level HF-SGD (one level of local averaging) and then extend this result to arbitrary number of levels (multiple levels of local averaging). The analysis demonstrates the impact of local averaging precisely as a function of system parameters. Due to the higher communication cost of global averaging, a strategy of decreasing the global averaging frequency and increasing the local averaging frequency is proposed. Experiments validate the proposed theoretical analysis and the advantages of HF-SGD.

研究动机与目标

• 研究在分层联邦学习中，中间枢纽的局部平均对收敛性和通信效率的影响。
• 分析系统参数（如局部和全局平均频率）对模型性能的影响。
• 提出一种降低全局平均频率、同时增加局部平均频率的策略，以降低通信成本。
• 将理论收敛性分析从两级扩展至任意层级的分层联邦学习系统。

提出的方法

• 本文提出一种两级 HF-SGD 框架，其中边缘设备首先执行本地模型更新，随后在本地枢纽进行平均，再进行全局聚合。
• 将框架扩展至多级局部平均，以建模现实世界联邦系统中的分层通信结构。
• 在随机梯度下降框架下进行理论收敛性分析，推导出收敛速率关于系统参数（包括局部和全局平均频率）的函数表达式。
• 通过分析量化局部平均的优势，表明其可降低全局模型更新的方差，从而提升收敛速度。
• 提出一种通信高效策略：降低全局平均频率，同时提高局部平均频率，以最小化高成本的全局通信。
• 通过实验验证理论发现，结果表明在各种系统配置下，HF-SGD 均展现出更快的收敛速度和更高的模型准确率。

实验结果

研究问题

• RQ1 在中间枢纽进行局部平均如何影响联邦学习的收敛速率？
• RQ2 在分层联邦学习中，局部与全局平均频率之间存在何种最优权衡？
• RQ3 分层级别的数量如何影响模型收敛性和通信效率？
• RQ4 局部平均对减少方差和提升收敛速度的理论影响是什么？
• RQ5 所提出的 HF-SGD 框架能否在通信效率和模型准确率方面优于标准联邦学习？

主要发现

• 局部平均通过降低全局模型更新的方差，显著提升了收敛速度。
• 所提出的降低全局平均频率、提高局部平均频率的策略，带来了更好的通信效率。
• 理论分析证实，局部平均在各种系统参数下均能提升收敛性，尤其在低带宽或高延迟环境中效果更显著。
• 实验验证了理论分析结果，表明 HF-SGD 在收敛速度和模型准确率方面均优于标准联邦学习。
• HF-SGD 的收敛速率明确依赖于局部和全局平均的频率，当局部平均频繁而全局平均较少时性能达到最优。