[论文解读] Low-Latency Federated Learning over Wireless Channels with Differential Privacy

Kang Wei, Jun Li+6 more|arXiv (Cornell University)|Jun 20, 2021

Privacy-Preserving Technologies in Data参考文献 42被引用 5

一句话总结

该论文提出了一种在无线信道上实现低延迟联邦学习的框架，通过多智能体多臂老虎机（MAMAB）方法联合优化训练延迟、模型性能和客户端级别的差分隐私（DP），实现了低复杂度、近似最优的性能，且遗憾度随通信轮次的对数增长。

ABSTRACT

In federated learning (FL), model training is distributed over clients and local models are aggregated by a central server. The performance of uploaded models in such situations can vary widely due to imbalanced data distributions, potential demands on privacy protections, and quality of transmissions. In this paper, we aim to minimize FL training delay over wireless channels, constrained by overall training performance as well as each client's differential privacy (DP) requirement. We solve this problem in the framework of multi-agent multi-armed bandit (MAMAB) to deal with the situation where there are multiple clients confornting different unknown transmission environments, e.g., channel fading and interferences. Specifically, we first transform the long-term constraints on both training performance and each client's DP into a virtual queue based on the Lyapunov drift technique. Then, we convert the MAMAB to a max-min bipartite matching problem at each communication round, by estimating rewards with the upper confidence bound (UCB) approach. More importantly, we propose two efficient solutions to this matching problem, i.e., modified Hungarian algorithm and greedy matching with a better alternative (GMBA), in which the first one can achieve the optimal solution with a high complexity while the second one approaches a better trade-off by enabling a verified low-complexity with little performance loss. In addition, we develop an upper bound on the expected regret of this MAMAB based FL framework, which shows a linear growth over the logarithm of communication rounds, justifying its theoretical feasibility. Extensive experimental results are conducted to validate the effectiveness of our proposed algorithms, and the impacts of various parameters on the FL performance over wireless edge networks are also discussed.

研究动机与目标

• 解决在受限模型性能和个体客户端差分隐私（DP）要求下，最小化无线联邦学习中训练延迟的挑战。
• 应对无线环境中固有的不确定性，如信道衰落和干扰，其中客户端的传输条件未知且时变。
• 设计一种可扩展的、分布式的联邦学习框架，确保在动态、真实无线边缘网络中的隐私性和效率。
• 在多客户端无线联邦学习系统中，平衡通信延迟、模型收敛性与个体隐私保证之间的权衡。
• 为所提出的基于MAMAB的学习算法提供理论遗憾度上界，以验证其长期性能和可行性。

提出的方法

• 利用李雅普诺夫漂移技术将长期的模型性能和客户端DP约束转化为虚拟队列，以支持动态优化。
• 将客户端调度与资源分配问题建模为多智能体多臂老虎机（MAMAB）框架，以应对未知且非平稳的无线信道条件。
• 使用置信上界（UCB）方法估计每个客户端-动作对的奖励，以在MAMAB设置中平衡探索与利用。
• 在每轮通信中将MAMAB问题形式化为最大-最小二分图匹配问题，以最大化各客户端的最小奖励。
• 提出两种高效解决方案：一种是改进的匈牙利算法，用于实现最优匹配但复杂度较高；另一种是贪婪匹配与更好替代策略（GMBA），实现低复杂度且性能损失极小。
• 推导出MAMAB框架的期望遗憾度的理论上限，表明其随通信轮次的对数线性增长，证实了其渐近最优性。

实验结果

研究问题

• RQ1 如何在满足全局模型性能和个体客户端差分隐私约束的前提下，最小化无线联邦学习中的训练延迟？
• RQ2 在信道状态未知且存在干扰的动态无线环境中，最优的客户端调度与资源分配策略是什么？
• RQ3 在大规模、隐私保护的联邦学习系统中，如何平衡计算复杂度与性能？
• RQ4 在时变无线条件与隐私约束下，基于MAMAB的联邦学习框架可提供哪些理论性能保证？
• RQ5 关键系统参数（如客户端数据分布、DP预算和信道质量）如何影响联邦学习的收敛性和延迟？

主要发现

• 所提出的GMBA算法在显著降低计算复杂度的同时，实现了接近最优的性能，适用于实时部署。
• 理论遗憾度随通信轮次的对数增长，表明该算法能够高效收敛并保持长期性能稳定性。
• 该框架在不平衡数据分布和变化的信道条件下，仍能有效维持客户端级别的差分隐私并最小化训练延迟。
• 大量仿真结果验证了所提方法在收敛速度和最终模型准确率方面优于基线调度策略（如随机调度、轮询调度）。
• 对DP参数和信道质量对联邦学习性能的影响进行了定量分析，结果表明更高的DP预算可提升模型准确率，但会增加通信负载。
• 基于李雅普诺夫漂移的约束处理机制能有效长期维持所有客户端的训练性能与DP合规性。