[论文解读] Delay Analysis of Wireless Federated Learning Based on Saddle Point Approximation and Large Deviation Theory

Lintao Li, Longwei Yang+5 more|arXiv (Cornell University)|Mar 31, 2021

Privacy-Preserving Technologies in Data参考文献 51被引用 5

一句话总结

本文提出了一种基于鞍点逼近、大偏差理论（LDT）和极值理论（EVT）的统一分析框架，用于无线联邦学习中的延迟分布。该框架能够对任意衰落信道下的训练延迟尾部分布进行高精度近似，且近似误差随训练精度提高而减小。

ABSTRACT

Federated learning (FL) is a collaborative machine learning paradigm, which enables deep learning model training over a large volume of decentralized data residing in mobile devices without accessing clients' private data. Driven by the ever increasing demand for model training of mobile applications or devices, a vast majority of FL tasks are implemented over wireless fading channels. Due to the time-varying nature of wireless channels, however, random delay occurs in both the uplink and downlink transmissions of FL. How to analyze the overall time consumption of a wireless FL task, or more specifically, a FL's delay distribution, becomes a challenging but important open problem, especially for delay-sensitive model training. In this paper, we present a unified framework to calculate the approximate delay distributions of FL over arbitrary fading channels. Specifically, saddle point approximation, extreme value theory (EVT), and large deviation theory (LDT) are jointly exploited to find the approximate delay distribution along with its tail distribution, which characterizes the quality-of-service of a wireless FL system. Simulation results will demonstrate that our approximation method achieves a small approximation error, which vanishes with the increase of training accuracy.

研究动机与目标

• 解决由于时变衰落信道导致的无线联邦学习端到端延迟分布表征挑战。
• 提供一种适用于任意衰落信道的统一分析框架，用于建模无线FL系统中的延迟。
• 通过近似训练延迟的尾部分布，实现服务质量评估，这对延迟敏感型应用至关重要。
• 通过联合利用鞍点逼近、EVT和LDT，克服先前工作的局限性，实现高精度的延迟建模。

提出的方法

• 应用鞍点逼近方法，推导无线FL中单次迭代延迟的概率密度函数。
• 利用极值理论（EVT）对多个客户端中的最大延迟进行建模，捕捉慢速者（straggler）效应。
• 采用大偏差理论（LDT）分析多轮迭代下累积训练延迟的尾部分布。
• 推导迭代延迟的累积量生成函数（CGF），并通过勒让德变换计算速率函数。
• 将单次迭代延迟的分布与达到收敛准则所需的迭代次数相结合，以建模总训练延迟。
• 使用概率生成函数（PGFs）将迭代次数与整体延迟分布联系起来。

实验结果

研究问题

• RQ1 在任意衰落信道下，无线联邦学习的延迟分布如何实现解析表征？
• RQ2 慢速者效应和信道变异性对无线FL中整体训练延迟有何影响？
• RQ3 训练延迟的尾部分布在服务质量评估中可被多大程度地准确近似？
• RQ4 鞍点逼近与大偏差理论能否联合提供一种可扩展且高精度的延迟分析框架？

主要发现

• 所提出的框架具有较小的近似误差，且随着训练精度提高而进一步减小。
• 利用大偏差理论对总训练延迟的尾部分布进行了精确近似，从而可在罕见但关键的延迟事件下进行性能评估。
• 该方法有效建模了上行与下行传输延迟的综合影响，包括由慢速者引起的瓶颈。
• 该框架具有通用性，适用于任意衰落信道，不限于特定信道模型。
• 仿真结果验证了基于鞍点逼近和LDT的近似精度，尤其在对延迟敏感应用至关重要的尾部区域表现优异。
• 所推导的延迟分布及其尾部表达式具有可扩展性，且在系统设计与优化中计算可行。