[论文解读] Energy Efficient Federated Learning in Integrated Fog-Cloud Computing Enabled Internet-of-Things Networks

Mohammed S. Al-Abiad, Md. Zoheb Hassan+1 more|arXiv (Cornell University)|Jul 7, 2021

Privacy-Preserving Technologies in Data参考文献 34被引用 5

一句话总结

本文提出了一种在集成雾-云物联网网络中实现节能联邦学习（FL）的框架，通过联合优化设备调度、功率分配和计算频率，针对两种训练场景：在物联网设备上本地训练模型与在雾接入点（F-APs）上本地训练。关键发现是，在大规模物联网部署且数据量较高的情况下，与将任务卸载至F-APs相比，在物联网设备上本地训练更为节能，该目标通过基于冲突图的迭代优化实现，旨在满足固定联邦学习时间约束的前提下最小化总能耗。

ABSTRACT

We investigate resource allocation scheme to reduce the energy consumption of federated learning (FL) in the integrated fog-cloud computing enabled Internet-of-things (IoT) networks. In the envisioned system, IoT devices are connected with the centralized cloud server (CS) via multiple fog access points (F-APs). We consider two different scenarios for training the local models. In the first scenario, local models are trained at the IoT devices and the F-APs upload the local model parameters to the CS. In the second scenario, local models are trained at the F-APs based on the collected data from the IoT devices and the F-APs collaborate with the CS for updating the model parameters. Our objective is to minimize the overall energy-consumption of both scenarios subject to FL time constraint. Towards this goal, we devise a joint optimization of scheduling of IoT devices with the F-APs, transmit power allocation, computation frequency allocation at the devices and F-APs and decouple it into two subproblems. In the first subproblem, we optimize the IoT device scheduling and power allocation, while in the second subproblem, we optimize the computation frequency allocation. For each scenario, we develop a conflict graph based solution to iteratively solve the two subproblems. Simulation results show that the proposed two schemes achieve a considerable performance gain in terms of the energy consumption minimization. The presented simulation results interestingly reveal that for a large number of IoT devices and large data sizes, it is more energy efficient to train the local models at the IoT devices instead of the F-APs.

研究动机与目标

• 降低集成雾-云计算支持的物联网（IoT）网络中联邦学习（FL）的能耗。
• 解决在将任务卸载至雾或云基础设施时，通信与计算能耗之间的权衡问题。
• 在严格的联邦学习时间约束下，优化资源分配——包括调度、发射功率和计算频率。
• 比较在大规模物联网部署中，在物联网设备上训练本地模型与在F-APs上训练的能效差异。
• 开发一种基于图论的可扩展、迭代式解决方案，以解耦并求解复杂的联合优化问题。

提出的方法

• 针对两种场景（1）在物联网设备上本地训练模型，（2）在F-APs上本地训练模型，构建联合优化问题以最小化总能耗。
• 将问题分解为两个子问题：（1）物联网设备的调度与功率分配，（2）设备与F-APs的计算频率分配。
• 采用冲突图建模来表示物联网设备与F-APs之间的干扰及调度约束。
• 基于图着色与功率控制开发迭代算法，以分布式且可扩展的方式求解子问题。
• 应用凸优化技术，在服务质量（QoS）与时间约束下求解功率与频率分配子问题。
• 采用解耦策略，迭代优化调度、功率与频率决策，直至收敛。

实验结果

研究问题

• RQ1 在雾-云物联网网络中，何种条件下在物联网设备上本地进行联邦学习训练比在F-APs上训练更具能效优势？
• RQ2 如何通过联合优化设备调度、发射功率与计算频率，在满足固定联邦学习时间约束的前提下最小化总能耗？
• RQ3 随着数据规模与物联网设备数量的增加，对雾-云架构中联邦学习的能效有何影响？
• RQ4 所提出的基于冲突图的迭代方法在能效与时间效率方面相较于固定方案或基准方案表现如何？
• RQ5 计算频率自适应是否能显著降低能耗，而不会大幅增加联邦学习训练时间？

主要发现

• 对于大量物联网设备与高数据量场景，与卸载至F-APs相比，在物联网设备上本地训练模型更具能效优势，这与普遍认为的卸载优势假设相反。
• 与固定方案、仅功率优化方案及仅CPU优化基准方案相比，所提方案显著降低了能耗，尤其在高计算与数据负载下优势更明显。
• 所提算法在仅小幅增加联邦学习训练时间的前提下实现了显著的能耗降低，展现出有利的能效-时间权衡。
• 所提方案的能耗随CPU周期数的增加仅略有上升，而采用最大频率的固定方案能耗则急剧上升。
• 联邦学习时间主要由计算时间主导，尤其在模型参数尺寸较小时更为显著。
• 随着数据规模增大，所提方案与仅功率优化方案之间的性能差距进一步扩大，这是由于在高卸载场景下传输能耗显著上升所致。