[论文解读] Delay Minimization for Federated Learning Over Wireless Communication Networks

Zhaohui Yang, Mingzhe Chen+5 more|arXiv (Cornell University)|Jul 5, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用 53

一句话总结

本文在无线网络中提出一个用于联邦学习的计算与通信延迟联合最小化问题，并通过二分算法求解，从而实现显著的延迟降低。

ABSTRACT

In this paper, the problem of delay minimization for federated learning (FL) over wireless communication networks is investigated. In the considered model, each user exploits limited local computational resources to train a local FL model with its collected data and, then, sends the trained FL model parameters to a base station (BS) which aggregates the local FL models and broadcasts the aggregated FL model back to all the users. Since FL involves learning model exchanges between the users and the BS, both computation and communication latencies are determined by the required learning accuracy level, which affects the convergence rate of the FL algorithm. This joint learning and communication problem is formulated as a delay minimization problem, where it is proved that the objective function is a convex function of the learning accuracy. Then, a bisection search algorithm is proposed to obtain the optimal solution. Simulation results show that the proposed algorithm can reduce delay by up to 27.3% compared to conventional FL methods.

研究动机与目标

• 由于隐私和资源约束，激励在无线网络上进行延迟感知的 FL。
• 建模由学习准确度影响的本地计算与无线传输延迟。
• 证明总延迟在学习准确度上凸且通过二分法推导最优解。

提出的方法

• 建立一个蜂窝 FL 系统，包含一个基站和 K 个用户，在给定准确度 η 下执行本地 FL。
• 推导每个用户的计算时间为 A_k log2(1/η)/f_k，并给出使用 FDMA 的传输约束。
• 证明延迟对 η 凸性，并应用二分搜索找出最优 η 与资源分配。
• 通过引理 4-5 和定理 1 将联合优化简化为一个凸问题。
• 提出算法 2，通过对总训练时间 T 进行二分实现延迟最小化。

实验结果

研究问题

• RQ1 如何通过联合优化本地计算和上行传输资源来最小化通过无线链路的联邦学习训练延迟？
• RQ2 FL 延迟相对于学习准确度是否凸性，以及二分法是否能产生最优解？
• RQ3 在延迟约束下，可行资源分配的充要条件是什么？
• RQ4 优化后的带宽、功率和准确度如何权衡以最小化总体延迟？

主要发现

• 总的 FL 延迟是学习准确度 η 的凸函数。
• 基于二分的算法可以获得最优的延迟最小化解。
• 联合优化计算容量、带宽分配和传输功率可获得比参考方案更低的延迟。
• 仿真表明，与传统 FL 方法相比，所提方法的延迟可降低至多 27.3%。