[论文解读] Federated Learning over Wireless Device-to-Device Networks: Algorithms and Convergence Analysis

Hong Xing, Osvaldo Simeone+1 more|arXiv (Cornell University)|Jan 29, 2021

Privacy-Preserving Technologies in Data参考文献 55被引用 114

一句话总结

本文提出了一种基于随机线性编码（RLC）和过空气计算（AirComp）的设备到设备（D2D）网络中去中心化随机梯度下降（DSGD）的数字与模拟无线实现方法。该方法建立了收敛边界，表明最优性差距取决于网络连通性和信噪比（SNR），并在图像分类任务上通过实验验证了理论保证，其理论分析基于凸性和连通性假设。

ABSTRACT

The proliferation of Internet-of-Things (IoT) devices and cloud-computing applications over siloed data centers is motivating renewed interest in the collaborative training of a shared model by multiple individual clients via federated learning (FL). To improve the communication efficiency of FL implementations in wireless systems, recent works have proposed compression and dimension reduction mechanisms, along with digital and analog transmission schemes that account for channel noise, fading, and interference. The prior art has mainly focused on star topologies consisting of distributed clients and a central server. In contrast, this paper studies FL over wireless device-to-device (D2D) networks by providing theoretical insights into the performance of digital and analog implementations of decentralized stochastic gradient descent (DSGD). First, we introduce generic digital and analog wireless implementations of communication-efficient DSGD algorithms, leveraging random linear coding (RLC) for compression and over-the-air computation (AirComp) for simultaneous analog transmissions. Next, under the assumptions of convexity and connectivity, we provide convergence bounds for both implementations. The results demonstrate the dependence of the optimality gap on the connectivity and on the signal-to-noise ratio (SNR) levels in the network. The analysis is corroborated by experiments on an image-classification task.

研究动机与目标

• 为解决在存在噪声、衰落和干扰等实际信道畸变下的无线D2D联邦学习缺乏理论收敛分析的问题。
• 在无线D2D网络中，通过数字（基于RLC的压缩）和模拟（AirComp）传输方式，开发通信高效的去中心化DSGD算法。
• 在凸性和连通性网络假设下，分析这些实现的收敛性，量化信噪比（SNR）和网络连通性对最优性差距的影响。
• 提供考虑物理层畸变以及通用调度/功率分配策略的理论性能边界，扩展了以往局限于理想或无噪声信道的研究。
• 通过图像分类任务的实验验证理论发现，证明所提出的无线DSGD框架在实际中的可行性。

提出的方法

• 提出一种基于随机线性编码（RLC）的数字无线DSGD实现，通过梯度压缩减少通信开销，同时保持模型精度。
• 提出一种基于过空气计算（AirComp）的模拟无线DSGD实现，通过波形叠加在无线介质中实现梯度的同时模拟传输。
• 在凸目标下，通过李雅普诺夫风格分析追踪一致性误差和最优性差距，推导出数字与模拟实现的收敛边界。
• 提出一种新颖的分析框架，通过信噪比（SNR）和网络连通性参数建模信道噪声、衰落和干扰的影响。
• 采用改进的CHOCO-SGD算法作为基线，集成压缩和一致性机制，将收敛性分析扩展至无线环境。
• 采用时变学习率策略，并引入误差反馈机制，以限制压缩和信道噪声对收敛性的影响。

实验结果

研究问题

• RQ1 无线信道噪声和衰落如何影响设备到设备（D2D）联邦学习网络中去中心化随机梯度下降（DSGD）的收敛性？
• RQ2 在无线DSGD实现中，网络连通性和信噪比（SNR）对最优性差距的理论影响是什么？
• RQ3 过空气计算（AirComp）能否在无需解码单个传输的情况下，实现高效且并行的梯度聚合？
• RQ4 在实际物理层约束下，压缩技术如随机线性编码（RLC）如何影响无线D2D联邦学习中的收敛性？
• RQ5 在收敛速度和对信道畸变的鲁棒性方面，模拟与数字无线DSGD的性能极限分别是什么？

主要发现

• 所提出的数字与模拟DSGD实现的收敛性在理论上受到约束，最优性差距与网络连通性和SNR成反比。
• 分析表明，最优性差距的上界由网络拉普拉斯矩阵的最小特征值的倒数决定，反映了连通性的影响。
• 对于通过AirComp实现的模拟方案，收敛性受噪声引起的误差底限限制，该底限在适当的功率和调度策略下可被控制。
• 基于RLC的数字实现收敛速率与学习率的平方和压缩误差成比例，其边界依赖于SNR和网络拓扑。
• 在图像分类任务上的实验结果证实了理论预测，表明在不同SNR和连通性水平下均能实现稳定收敛。
• 推导出的收敛边界对通用调度和功率分配策略具有鲁棒性，使该框架适用于真实世界的无线D2D网络。