[论文解读] Decentralized Federated Learning via SGD over Wireless D2D Networks

Hong Xing, Osvaldo Simeone+1 more|arXiv (Cornell University)|Feb 28, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用 7

一句话总结

该论文提出了在无线设备到设备（D2D）网络中实现去中心化随机梯度下降（DSGD）的数字与模拟空中计算实现方式，采用图着色进行干扰受限调度，并结合基于稀疏性的信号恢复技术。在星型拓扑中，由于高效的空中计算，模拟方法优于数字方法；而调度优化对性能至关重要。

ABSTRACT

Federated Learning (FL), an emerging paradigm for fast intelligent acquisition at the network edge, enables joint training of a machine learning model over distributed data sets and computing resources with limited disclosure of local data. Communication is a critical enabler of large-scale FL due to significant amount of model information exchanged among edge devices. In this paper, we consider a network of wireless devices sharing a common fading wireless channel for the deployment of FL. Each device holds a generally distinct training set, and communication typically takes place in a Device-to-Device (D2D) manner. In the ideal case in which all devices within communication range can communicate simultaneously and noiselessly, a standard protocol that is guaranteed to converge to an optimal solution of the global empirical risk minimization problem under convexity and connectivity assumptions is Decentralized Stochastic Gradient Descent (DSGD). DSGD integrates local SGD steps with periodic consensus averages that require communication between neighboring devices. In this paper, wireless protocols are proposed that implement DSGD by accounting for the presence of path loss, fading, blockages, and mutual interference. The proposed protocols are based on graph coloring for scheduling and on both digital and analog transmission strategies at the physical layer, with the latter leveraging over-the-air computing via sparsity-based recovery.

研究动机与目标

• 解决在存在衰落、路径损耗和干扰等真实物理层损伤的无线D2D网络中实现去中心化联邦学习（FL）的挑战。
• 设计通信协议，使DSGD在无线约束下实现收敛，同时利用数字与模拟传输策略。
• 引入基于图着色的调度机制，以管理干扰，并在密集D2D拓扑中实现高效多节点通信。
• 评估模拟空中计算与传统数字传输在收敛速度与最终模型准确率方面的性能表现。
• 揭示在不同网络连通性与干扰条件下，数字与模拟实现之间的权衡。

提出的方法

• 提出一种基于图着色避免同时传输的数字DSGD实现方式，通过无线衰落信道进行调度设备传输。
• 实现一种模拟DSGD变体，利用空中计算，设备同时传输压缩的稀疏模型参数，网络的叠加特性使接收端可直接计算总和。
• 通过算子 $\mathrm{sparse}_{k}(\cdot)$ 实施稀疏化，以减少上行链路信令，仅保留模型更新向量中绝对值最大的 $k$ 个元素。
• 采用基于一致性准则的DSGD更新规则：$\theta_i^{(t)} = \theta_i^{(t-1)} - \eta \nabla f_i(\theta_i^{(t-1)}) + \sum_{j \in \mathcal{N}_i} w_{ij} (\theta_j^{(t-1)} - \theta_i^{(t-1)})$，其中 $w_{ij}$ 为对称双随机矩阵的权重。
• 基于图着色设计调度策略，为设备对分配时隙，以最小化干扰，并在每个时隙块中实现并行通信。
• 将功率控制与信噪比（SNR）约束整合到通信模型中，设定 $K=8$ 个设备的平均SNR为40 dB。

实验结果

研究问题

• RQ1 在真实无线信道条件下，通过模拟传输实现的空中计算是否优于传统数字DSGD在无线D2D联邦学习中的表现？
• RQ2 网络拓扑密度（由边概率 $p$ 控制）如何影响数字与模拟DSGD实现之间的性能权衡？
• RQ3 通过基于图着色的调度实现干扰管理，对去中心化FL的收敛性与准确性有何影响？
• RQ4 稀疏化与信号恢复技术如何在不降低模型性能的前提下提升无线DSGD中的通信效率？
• RQ5 在何种网络条件下，模拟DSGD实现相比数字DSGD能实现更快的收敛速度与更高的最终准确率？

主要发现

• 当网络拓扑稀疏且呈星型（$p=0.1$）时，模拟DSGD在收敛速度与最终测试准确率方面均优于数字DSGD，能更早实现更高的平均测试准确率。
• 在更密集的拓扑中（$p=0.3$），由于干扰增加且每个通信时隙的有效信号观测数减少，模拟DSGD的性能优势减弱，尤其当调度时隙数 $M$ 增大时。
• TDMA调度在模拟传输中效率低下，导致频谱利用不佳，但在数字情况下与所提出的干扰感知数字调度性能相当。
• 无通信基线表现较差，证实当本地数据集较小且类别不完整时，设备间协作对模型收敛至关重要。
• 所提出的基于图着色的调度机制可实现高效并行通信，并显著优于朴素或忽略干扰的调度方案。
• 采用 $k = d(1 - 0.4^{1/K})$ 的稀疏化方法能有效减少上行链路信令，同时保持模型准确率，从而在模拟方案中实现高效的空中计算。