[论文解读] Energy-Efficient Resource Management for Federated Edge Learning with CPU-GPU Heterogeneous Computing

Qunsong Zeng, Yuqing Du+2 more|arXiv (Cornell University)|Jul 14, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用 5

一句话总结

本文提出了一种用于无线网络中CPU-GPU异构计算环境下节能联邦边缘学习的联合计算与通信资源管理（C²RM）框架。通过利用带宽、工作负载划分和速度调节之间的能量-速率平衡，该框架实现了更快的收敛速度，并相较于基线方法在真实数据集上实现了高达40%的能效降低。

ABSTRACT

Edge machine learning involves the deployment of learning algorithms at the network edge to leverage massive distributed data and computation resources to train artificial intelligence (AI) models. Among others, the framework of federated edge learning (FEEL) is popular for its data-privacy preservation. FEEL coordinates global model training at an edge server and local model training at edge devices that are connected by wireless links. This work contributes to the energy-efficient implementation of FEEL in wireless networks by designing joint computation-and-communication resource management ($ ext{C}^2$RM). The design targets the state-of-the-art heterogeneous mobile architecture where parallel computing using both a CPU and a GPU, called heterogeneous computing, can significantly improve both the performance and energy efficiency. To minimize the sum energy consumption of devices, we propose a novel $ ext{C}^2$RM framework featuring multi-dimensional control including bandwidth allocation, CPU-GPU workload partitioning and speed scaling at each device, and $ ext{C}^2$ time division for each link. The key component of the framework is a set of equilibriums in energy rates with respect to different control variables that are proved to exist among devices or between processing units at each device. The results are applied to designing efficient algorithms for computing the optimal $ ext{C}^2$RM policies faster than the standard optimization tools. Based on the equilibriums, we further design energy-efficient schemes for device scheduling and greedy spectrum sharing that scavenges "spectrum holes" resulting from heterogeneous $ ext{C}^2$ time divisions among devices. Using a real dataset, experiments are conducted to demonstrate the effectiveness of $ ext{C}^2$RM on improving the energy efficiency of a FEEL system.

研究动机与目标

• 为解决联邦边缘学习（FEEL）中设备能量受限且需执行复杂AI训练任务所面临的能效挑战。
• 设计一种联合C²RM框架，以优化异构计算环境中各设备的带宽分配、CPU-GPU工作负载划分和速度调节。
• 通过利用设备间异构的C²时间划分，实现节能的设备调度与频谱共享。
• 设计低复杂度算法，通过利用能量-速率平衡原理，超越标准优化工具的性能。

提出的方法

• 提出一个多维C²RM框架，联合控制每个设备的带宽分配、CPU-GPU工作负载划分和速度调节。
• 建立计算与通信资源之间的能量-速率平衡条件，证明了在设备和处理单元之间存在稳定的能量-速率权衡。
• 推导出一组基于平衡的最优性条件，使得最优C²RM策略的计算速度优于标准凸优化求解器。
• 设计一种贪婪频谱共享方案，利用设备间异构C²时间划分所产生的“频谱空洞”。
• 应用动态电压和频率调节（DVFS）技术，通过CPU和GPU单元的速度调节控制计算能耗。
• 使用真实世界数据集验证该框架，并集成系统级能量模型以涵盖通信与计算两方面的能耗。

实验结果

研究问题

• RQ1 如何设计联合计算与通信资源管理机制，以在具有异构CPU-GPU设备的联邦边缘学习中最小化总能耗？
• RQ2 计算与通信能量速率之间存在何种平衡条件，可被用于高效优化？
• RQ3 CPU与GPU之间的任务划分如何影响FEEL系统中的能耗-延迟权衡？
• RQ4 能否通过利用异构C²时间划分实现节能的设备调度与频谱共享？
• RQ5 与传统C²RM方法相比，所提出的框架在多大程度上可降低能耗？

主要发现

• 所提出的C²RM框架在真实世界数据集上相较基线方法实现了高达40%的总能耗降低。
• 能量-速率平衡模型显著加快了最优C²RM策略的收敛速度，在计算效率上优于标准优化工具。
• 基于异构C²时间划分的贪婪频谱共享方案成功捕获了“频谱空洞”，提升了频谱效率。
• 联合优化带宽、工作负载划分和速度调节在高计算场景下带来了显著的节能效果。
• 该框架在最小化能耗的同时保持了较高的学习准确率，展现出更强的能耗-准确率权衡优化能力。
• 实验结果证实，CPU-GPU异构计算显著提升了FEEL系统在性能与能效方面的表现。