[论文解读] HFEL: Joint Edge Association and Resource Allocation for Cost-Efficient Hierarchical Federated Edge Learning

Siqi Luo, Xu Chen+3 more|arXiv (Cornell University)|Feb 26, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用 14

一句话总结

本文提出HFEL，一种分层联邦边缘学习框架，通过联合优化边缘关联与资源分配，最小化训练成本（以能耗和延迟衡量）。通过将问题分解为每台边缘服务器的资源分配与迭代式边缘关联调整，HFEL相较于传统联邦学习显著降低了成本并提升了模型准确率。

ABSTRACT

Federated Learning (FL) has been proposed as an appealing approach to handle data privacy issue of mobile devices compared to conventional machine learning at the remote cloud with raw user data uploading. By leveraging edge servers as intermediaries to perform partial model aggregation in proximity and relieve core network transmission overhead, it enables great potentials in low-latency and energy-efficient FL. Hence we introduce a novel Hierarchical Federated Edge Learning (HFEL) framework in which model aggregation is partially migrated to edge servers from the cloud. We further formulate a joint computation and communication resource allocation and edge association problem for device users under HFEL framework to achieve global cost minimization. To solve the problem, we propose an efficient resource scheduling algorithm in the HFEL framework. It can be decomposed into two subproblems: \emph{resource allocation} given a scheduled set of devices for each edge server and \emph{edge association} of device users across all the edge servers. With the optimal policy of the convex resource allocation subproblem for a set of devices under a single edge server, an efficient edge association strategy can be achieved through iterative global cost reduction adjustment process, which is shown to converge to a stable system point. Extensive performance evaluations demonstrate that our HFEL framework outperforms the proposed benchmarks in global cost saving and achieves better training performance compared to conventional federated learning.

研究动机与目标

• 解决传统联邦学习因频繁进行云端模型聚合而导致的高通信与能耗开销问题。
• 通过将部分模型聚合从云端迁移至邻近的边缘服务器，缓解网络拥塞并降低训练延迟。
• 构建设备与边缘服务器间计算与通信资源分配的联合优化问题，以最小化全局训练成本。
• 设计一种高效算法，通过迭代优化边缘关联与资源分配，收敛至稳定且成本高效的系统状态。
• 相较于无边缘中间节点的传统联邦学习，实现更优的训练性能与更低的全局成本。

提出的方法

• 提出一种分层联邦边缘学习（HFEL）框架，其中边缘服务器执行部分模型聚合，减少广域网（WAN）流量与延迟。
• 构建设备资源分配与边缘关联的联合优化问题，以最小化总训练成本（能耗 + 延迟）。
• 将问题分解为两个子问题：(1) 给定设备集合时，对每台边缘服务器进行最优资源分配；(2) 通过全局成本最小化实现迭代式边缘关联调整。
• 利用拉格朗日松弛与KKT条件推导出最优策略，求解凸资源分配子问题。
• 应用迭代全局成本最小化算法调整设备-边缘关联，确保收敛至稳定系统点。
• 采用对偶分解方法处理多台边缘服务器间设备调度与资源分配的耦合关系。

实验结果

研究问题

• RQ1 在分层联邦边缘学习中，如何联合优化边缘关联与资源分配以最小化训练成本？
• RQ2 边缘服务器的接近程度与设备关联对联邦学习中通信延迟与能耗有何影响？
• RQ3 基于分解的算法能否在HFEL中收敛至稳定且成本高效的系统点？
• RQ4 HFEL相较于传统联邦学习在训练成本、准确率与收敛速度方面表现如何？
• RQ5 在边缘辅助的联邦学习中，设备关联密度与单设备通信资源可用性之间存在何种权衡？

主要发现

• 通过将模型聚合任务卸载至边缘服务器，HFEL显著降低了全局训练成本，相较于传统联邦学习表现优异。
• 所提出的算法通过迭代成本最小化实现收敛，确保了实际部署的可行性。
• HFEL在全局与测试准确率方面优于基线联邦学习，且训练损失更低，展现出更优的模型性能。
• 边缘关联与资源分配的联合优化显著降低了能耗与训练延迟。
• 大量评估结果表明，在真实网络与设备约束条件下，HFEL在成本效率与训练性能方面均优于基准方法。
• 该框架能有效应对计算能力、电池状态与数据质量等方面的设备异构性，支持可扩展且成本高效的联邦学习。