[论文解读] Energy-Efficient Federated Edge Learning with Joint Communication and Computation Design

Xiaopeng Mo, Jie Xu|arXiv (Cornell University)|Feb 29, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用 9

一句话总结

本文提出了一种面向节能联邦边缘学习的联合通信与计算资源分配框架，通过在NOMA和TDMA协议下联合优化传输功率、数据速率和CPU频率，实现通信与计算能耗的平衡，显著降低能耗。数值结果表明，与基准方案相比，能耗最高可降低40%。

ABSTRACT

This paper studies a federated edge learning system, in which an edge server coordinates a set of edge devices to train a shared machine learning model based on their locally distributed data samples. During the distributed training, we exploit the joint communication and computation design for improving the system energy efficiency, in which both the communication resource allocation for global ML parameters aggregation and the computation resource allocation for locally updating MLparameters are jointly optimized. In particular, we consider two transmission protocols for edge devices to upload ML parameters to edge server, based on the non orthogonal multiple access and time division multiple access, respectively. Under both protocols, we minimize the total energy consumption at all edge devices over a particular finite training duration subject to a given training accuracy, by jointly optimizing the transmission power and rates at edge devices for uploading MLparameters and their central processing unit frequencies for local update. We propose efficient algorithms to optimally solve the formulated energy minimization problems by using the techniques from convex optimization. Numerical results show that as compared to other benchmark schemes, our proposed joint communication and computation design significantly improves the energy efficiency of the federated edge learning system, by properly balancing the energy tradeoff between communication and computation.

研究动机与目标

• 解决由于无线链路频繁交换模型参数导致的联邦边缘学习系统高能耗问题。
• 克服传统设计中通信与计算分离导致的能量效率次优的局限性。
• 在确保给定训练精度和延迟要求的前提下，最小化边缘设备的总能耗。
• 研究在不同多址接入方案（NOMA与TDMA）下联合优化对系统性能的影响。

提出的方法

• 针对联合通信与计算资源分配的联邦边缘学习，建立非凸能耗最小化问题。
• 利用凸优化技术将非凸问题转化为凸问题，通过对偶性和KKT条件实现最优解求解。
• 设计高效算法，通过优化每台设备的传输功率、传输速率和CPU频率来求解对偶问题。
• 应用拉格朗日松弛法与Karush-Kuhn-Tucker（KKT）条件，推导出CPU频率与功率分配的最优解。
• 评估上行链路参数聚合中NOMA与TDMA传输协议的性能，比较其在延迟约束下的能耗效率与可行性。
• 利用凸优化技术，联合优化通信（功率、速率）与计算（CPU频率）资源，以最小化总能耗。

实验结果

研究问题

• RQ1 与单独优化相比，联合通信与计算设计在联邦边缘学习中如何提升能量效率？
• RQ2 在联邦边缘学习系统中，通信与计算能耗之间的最优权衡是什么？
• RQ3 在能耗效率与最低可行训练延迟方面，NOMA与TDMA协议有何差异？
• RQ4 最大CPU频率与传输功率对系统能耗与性能有何影响？
• RQ5 训练延迟要求如何影响不同传输与资源分配方案的可行性与能量效率？

主要发现

• 所提出的联合通信与计算设计相比无联合优化的基准方案，总能耗最高可降低40%。
• 能量效率在CPU频率介于0.5 GHz至1 GHz之间时达到峰值；进一步提高最大CPU频率不会提升性能，反而可能增加能耗。
• 在所有配置下，NOMA在能耗效率方面均优于TDMA，且最低可行训练延迟更低（124 s vs. 150 s）。
• 当训练延迟足够大时，NOMA与TDMA的性能差距趋于微小，表明更高延迟预算下的收益递减。
• 仅采用计算设计或训练延迟最小化方案的系统，在CPU频率提高时能耗增加，凸显了联合优化的优势。
• 最优解在通信与计算能耗之间实现平衡，表明合理分配资源对系统整体能量效率至关重要。