[论文解读] Distributed Learning over Unreliable Networks

Chen Yu, Hanlin Tang+6 more|arXiv (Cornell University)|Oct 17, 2018

Age of Information Optimization被引用 21

一句话总结

本文提出了一种针对在不可靠网络中运行的分布式随机梯度下降（SGD）的新型理论分析，其中每次通信都有非零概率 $p$ 被丢弃。研究表明，即使在网络不可靠的情况下，仍可实现与可靠网络相当的收敛速率，且随着参数服务器数量的增加，分组丢失的影响逐渐减弱，从而在实际共享网络环境中实现鲁棒训练。

ABSTRACT

Most of today's distributed machine learning systems assume {\em reliable networks}: whenever two machines exchange information (e.g., gradients or models), the network should guarantee the delivery of the message. At the same time, recent work exhibits the impressive tolerance of machine learning algorithms to errors or noise arising from relaxed communication or synchronization. In this paper, we connect these two trends, and consider the following question: {\em Can we design machine learning systems that are tolerant to network unreliability during training?} With this motivation, we focus on a theoretical problem of independent interest---given a standard distributed parameter server architecture, if every communication between the worker and the server has a non-zero probability $p$ of being dropped, does there exist an algorithm that still converges, and at what speed? The technical contribution of this paper is a novel theoretical analysis proving that distributed learning over unreliable network can achieve comparable convergence rate to centralized or distributed learning over reliable networks. Further, we prove that the influence of the packet drop rate diminishes with the growth of the number of extcolor{black}{parameter servers}. We map this theoretical result onto a real-world scenario, training deep neural networks over an unreliable network layer, and conduct network simulation to validate the system improvement by allowing the networks to be unreliable.

研究动机与目标

• 研究在工作节点与参数服务器之间的通信存在非零概率 $p$ 丢失消息的不可靠网络条件下，分布式机器学习是否仍能收敛。
• 在理论框架下分析修改后的参数服务器算法（RPS）在不可靠通信下的收敛行为。
• 量化分组丢包率 $p$ 对收敛的影响，并探讨该影响是否随参数服务器数量增加而减弱。
• 通过在共享网络资源的真实数据中心场景中进行网络仿真，验证理论发现。
• 探索在机器学习系统中允许网络不可靠性的实际优势，以提升共置工作负载的整体系统性能。

提出的方法

• 提出RPS（可靠参数服务器）算法，即一种改进的集中式SGD，通过在规约-分散和全聚集步骤中随机选择工作节点子集来处理不可靠通信。
• 将不可靠通信建模为每条消息独立以概率 $p$ 丢失，并分析聚合过程中期望更新权重。
• 通过分析更新权重的二阶矩，推导出RPS的理论收敛界，同时考虑随机选择和分组丢失的影响。
• 利用条件期望与方差分解方法，界定不同网络状态下更新向量的期望平方范数。
• 引入关键术语 $T_1$、$T_2$、$T_3$，以表示在不同网络条件下更新权重的复杂期望。
• 通过网络仿真验证理论结果，表明在共享数据中心网络中允许机器学习流量容忍分组丢失时，性能可得到提升。

实验结果

研究问题

• RQ1 当工作节点与参数服务器之间的每次通信都有非零概率 $p$ 丢失时，分布式SGD是否仍能收敛？
• RQ2 在不可靠通信下，分布式学习的理论收敛速率是多少？与可靠网络相比如何？
• RQ3 随着参数服务器数量的增加，分组丢包率 $p$ 的影响如何变化？
• RQ4 在共置工作负载的共享数据中心环境中，允许网络不可靠性是否能提升整体系统性能？
• RQ5 RPS算法在可靠通信条件下是否仍能保持与标准分布式SGD相当的收敛特性？

主要发现

• 即使存在非零分组丢失，RPS算法的收敛速率仍与在可靠网络上运行的集中式或分布式学习相当。
• 随着参数服务器数量的增加，分组丢包率 $p$ 的影响逐渐减弱，其对收敛的影响减小。
• 理论分析表明，更新向量的期望平方范数保持有界，从而在不可靠模型下确保收敛。
• 仿真结果证实，允许网络不可靠性可通过为其他应用提供更高优先级通信，从而提升整体系统性能。
• 推导出的收敛界依赖于 $p$ 和 $n$（服务器数量），其中 $p(1+2T_3)$ 项主导了分组丢失的影响，且该影响随 $n$ 增大而减小。