[论文解读] Cost-Effective Federated Learning in Mobile Edge Networks

Bing Luo, Xiang Li+3 more|arXiv (Cornell University)|Sep 12, 2021

Privacy-Preserving Technologies in Data参考文献 44被引用 6

一句话总结

本文提出了一种面向移动边缘网络的低成本联邦学习框架，通过联合优化所选客户端数量（K）和本地训练轮次（E），以最小化总成本——在学习时间和能耗之间实现平衡。该研究推导了成本、控制变量与收敛性之间的解析关系，并提出一种低成本的采样算法，在多种数据集和系统配置下实现了接近最优的性能。

ABSTRACT

Federated learning (FL) is a distributed learning paradigm that enables a large number of mobile devices to collaboratively learn a model under the coordination of a central server without sharing their raw data. Despite its practical efficiency and effectiveness, the iterative on-device learning process (e.g., local computations and global communications with the server) incurs a considerable cost in terms of learning time and energy consumption, which depends crucially on the number of selected clients and the number of local iterations in each training round. In this paper, we analyze how to design adaptive FL in mobile edge networks that optimally chooses these essential control variables to minimize the total cost while ensuring convergence. We establish the analytical relationship between the total cost and the control variables with the convergence upper bound. To efficiently solve the cost minimization problem, we develop a low-cost sampling-based algorithm to learn the convergence related unknown parameters. We derive important solution properties that effectively identify the design principles for different optimization metrics. Practically, we evaluate our theoretical results both in a simulated environment and on a hardware prototype. Experimental evidence verifies our derived properties and demonstrates that our proposed solution achieves near-optimal performance for different optimization metrics for various datasets and heterogeneous system and statistical settings.

研究动机与目标

• 解决移动边缘网络中联邦学习（FL）面临的高计算与通信成本问题，其中设备能力异构且信道条件动态变化。
• 构建一个联合优化所选客户端数量（K）和本地迭代次数（E）的成本最小化问题，以平衡学习时间和能耗。
• 设计一种实用且低成本的基于采样的算法，用于在无需完整系统知识的前提下估计未知的收敛参数。
• 在不同系统与统计异构性条件下，建立针对不同优化指标（如时间与能耗权衡）的解析设计原则。
• 通过仿真与硬件原型验证理论发现，证明所提方法在多种数据集与配置下均实现接近最优的性能。

提出的方法

• 推导出依赖于K和E的联邦学习收敛性的解析上界，从而支持成本建模。
• 提出一个成本模型，综合计算时间（t_m）、通信时间（t_p）和能耗（e_m, e_p），并由偏好参数γ加权。
• 引入一种基于采样的算法，利用有限观测估计未知系统参数（如收敛速率），从而降低开销。
• 采用随机优化方法，通过分析期望总成本函数的一阶导数，推导出K和E的最优值。
• 应用理论结果推导出单调性特性：最优K随t_p增加而增加，随t_m、e_m和e_p增加而减少。
• 采用重排分析方法，计算首个完成本地训练的客户端的期望时间，从而实现每轮时间的精确估计。

实验结果

研究问题

• RQ1 在移动边缘网络中，所选客户端数量（K）与本地迭代次数（E）如何联合影响联邦学习的总成本？
• RQ2 在异构移动边缘环境中，学习时间与能耗之间的最优权衡是什么？
• RQ3 在缺乏完整系统知识的情况下，如何高效估计未知的收敛相关参数？
• RQ4 系统异构性（如设备能力差异与信道条件变化）如何影响K与E的最优配置？
• RQ5 在不同成本指标（如仅时间、仅能耗或平衡目标）下，最优K与E的解析特性是什么？

主要发现

• 当能耗成本占主导地位时（γ = 1），最优客户端数量K*为1，表明最小化能耗偏好于每轮仅选择一个客户端。
• 对于混合目标（0 < γ < 1），K*随E先减小后增大，表明通信与计算成本之间存在非单调权衡。
• 最优E*随t_p（通信时间）增加而增加，随e_p（每次通信能耗）减少而减少，表明较长的通信延迟有利于增加本地迭代次数。
• 最优K*随t_p和e_p增加而增加，随t_m和e_m减少而减少，表明更快的本地计算或更低的单位计算能耗有利于选择更大的客户端集合。
• 当γ = 0（时间优化）时，最优E*随t_m / t_p增加而增加；当γ = 1（能耗优化）时，最优E*随e_m / e_p增加而增加，证实了成本指标在塑造解中的关键作用。
• 硬件原型与仿真结果验证了理论模型，表明所提算法在多种数据集与系统配置下均实现接近最优的性能。