[论文解读] Decentralized Federated Learning with Unreliable Communications

Hao Ye, Le Liang+1 more|arXiv (Cornell University)|Aug 5, 2021

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本文提出 Soft-DSGD，一种针对不可靠通信网络的鲁棒去中心化随机梯度下降方法，适用于联邦学习。通过使用部分接收的消息更新模型，并基于链路可靠性优化混合权重，Soft-DSGD 即使在数据包丢失的情况下，也能实现与集中式 SGD 相同的渐近收敛速率，从而在无需中心服务器的情况下实现高效、可扩展的训练。

ABSTRACT

Decentralized federated learning, inherited from decentralized learning, enables the edge devices to collaborate on model training in a peer-to-peer manner without the assistance of a server. However, existing decentralized learning frameworks usually assume perfect communication among devices, where they can reliably exchange messages, e.g., gradients or parameters. But the real-world communication networks are prone to packet loss and transmission errors. Transmission reliability comes with a price. The commonly-used solution is to adopt a reliable transportation layer protocol, e.g., transmission control protocol (TCP), which however leads to significant communication overhead and reduces connectivity among devices that can be supported. For a communication network with a lightweight and unreliable communication protocol, user datagram protocol (UDP), we propose a robust decentralized stochastic gradient descent (SGD) approach, called Soft-DSGD, to address the unreliability issue. Soft-DSGD updates the model parameters with partially received messages and optimizes the mixing weights according to the link reliability matrix of communication links. We prove that the proposed decentralized training system, even with unreliable communications, can still achieve the same asymptotic convergence rate as vanilla decentralized SGD with perfect communications. Moreover, numerical results confirm the proposed approach can leverage all available unreliable communication links to speed up convergence.

研究动机与目标

• 为解决去中心化联邦学习中不可靠通信带来的挑战，其中数据包丢失和传输错误会阻碍收敛。
• 消除对 TCP 等可靠传输协议的依赖，这些协议会引入高通信开销并限制可扩展性。
• 设计一种去中心化训练框架，在真实世界中的不可靠通信条件下（如基于 UDP 的网络）仍能保持收敛性能。
• 基于链路可靠性动态优化混合权重，以提升模型聚合的鲁棒性。
• 证明所提出方法在完美通信条件下可实现与原始去中心化 SGD 相同的渐近收敛速率。

提出的方法

• 提出 Soft-DSGD，一种去中心化 SGD 变体，可在不可靠通信期间仅使用部分接收的消息更新模型参数。
• 引入一种基于链路可靠性矩阵的可靠性感知混合权重优化策略，根据点对点通信链路的可靠性进行调整。
• 采用随机梯度下降框架，其中每个设备执行本地更新，并通过不可靠传输层（如 UDP）与邻居交换梯度。
• 采用基于共识的聚合机制，通过根据传输成功率概率加权贡献来处理缺失或延迟的消息。
• 在随机消息丢失条件下推导理论收敛边界，证明其收敛速率与完美通信下的去中心化 SGD 相当。
• 求解一个凸优化问题，以计算最小化误差传播矩阵谱半径的最优混合权重。

实验结果

研究问题

• RQ1 当通信链路不可靠且存在数据包丢失时，去中心化联邦学习能否保持收敛性能？
• RQ2 使用 UDP 等不可靠传输协议是否会导致去中心化 SGD 的收敛速率劣于可靠协议？
• RQ3 能否基于链路可靠性自适应优化混合权重，以在不可靠网络中恢复收敛性能？
• RQ4 在部分消息接收和不可靠链路条件下，是否可能实现与集中式 SGD 相同的渐近收敛速率？
• RQ5 在真实世界网络条件下，与现有去中心化学习框架相比，该方法在收敛速度和鲁棒性方面如何扩展？

主要发现

• 即使在不可靠链路和部分消息接收的情况下，Soft-DSGD 仍能实现与原始去中心化 SGD 在完美通信下的相同渐近收敛速率。
• Soft-DSGD 的收敛速率被证明为 O(1/√(NT)) + O(N/T)，与集中式 SGD 的理论边界一致。
• 数值结果证实，Soft-DSGD 充分利用所有可用的不可靠通信链路以加速收敛，优于丢弃丢失消息的方法。
• 由于混合权重的鲁棒优化，该方法在高达 3/8 的梯度更新丢失时仍能保持收敛。
• 混合权重的优化问题是凸的，确保了可靠聚合矩阵的稳定且高效计算。
• 该框架与轻量级传输协议（如 UDP）兼容，降低了通信开销，提升了设备连接的可扩展性。