[论文解读] Decentralized gradient methods: does topology matter?

Giovanni Neglia, Chuan Xu+2 more|arXiv (Cornell University)|Feb 28, 2020

Stochastic Gradient Optimization Techniques被引用 9

一句话总结

本文研究了在去中心化梯度方法中，为何稀疏通信拓扑结构在实际运行时间上能优于密集拓扑结构，尽管理论预测表明高度连通的拓扑结构收敛速度更快。本文提出了一种改进的收敛性分析，表明稀疏拓扑通过减少对慢速工作者的依赖，缓解了拖尾者（straggler）问题，从而在不考虑通信延迟的情况下，实现了更快的实际收敛速度。

ABSTRACT

Consensus-based distributed optimization methods have recently been advocated as alternatives to parameter server and ring all-reduce paradigms for large scale training of machine learning models. In this case, each worker maintains a local estimate of the optimal parameter vector and iteratively updates it by averaging the estimates obtained from its neighbors, and applying a correction on the basis of its local dataset. While theoretical results suggest that worker communication topology should have strong impact on the number of epochs needed to converge, previous experiments have shown the opposite conclusion. This paper sheds lights on this apparent contradiction and show how sparse topologies can lead to faster convergence even in the absence of communication delays.

研究动机与目标

• 解决理论预测（密集拓扑收敛更快）与经验观察（不同拓扑收敛速度相似）之间的矛盾。
• 探究通信拓扑是否在去中心化优化中除通信负载外，还影响收敛速度。
• 理解为何稀疏拓扑（如环形结构）在实际运行时间上能优于密集拓扑（如完全图）尽管理论预期相反。
• 提出一种改进的理论分析，考虑实际因素如拖尾者效应和通信波动性。
• 通过在真实机器学习工作负载和多种通信拓扑上的实验，验证理论发现。

提出的方法

• 提出一种改进的收敛性分析，结合谱间隙、拖尾者效应和通信波动性，使用考虑网络拓扑的改进收敛界。
• 引入一种新的收敛度量，将迭代次数与实际运行时间分离，从而能够分析拓扑对实际性能的影响。
• 推导出一个新的理论界（公式7），考虑通信延迟和拖尾者效应的影响，优于先前的边界（公式8）。
• 在多个数据集（CT、MNIST、CIFAR-10）上，使用不同拓扑（环形、完全图、扩展图）和通信模式，对收敛性进行实验评估。
• 使用来自Spark和ASCI Q超级计算机的真实计算时间分布，模拟现实的通信延迟和拖尾者行为。
• 通过在不同网络度数和模型复杂度下比较理论预测与实验结果，验证模型的准确性。

实验结果

研究问题

• RQ1 为何经验结果表明不同拓扑结构的收敛速度相似，尽管理论预测更倾向于密集图？
• RQ2 通信延迟或拖尾者行为在多大程度上影响去中心化优化算法的实际性能？
• RQ3 当通信成本可忽略时，稀疏拓扑（如环形）是否仍能在实际运行时间上优于密集拓扑（如完全图）？
• RQ4 当存在拖尾者效应时，网络拓扑的谱间隙与收敛速度之间有何关系？
• RQ5 改进的理论模型是否能准确预测在多样化机器学习工作负载和拓扑结构下的收敛行为？

主要发现

• 即使通信成本可忽略，环形等稀疏拓扑结构也能实现比完全图更快的实际运行时间收敛，原因在于对拖尾者效应的敏感性更低。
• 新理论界（公式7）比先前的边界更准确地预测收敛行为，尤其是在存在拖尾者效应和可变通信延迟的情况下。
• 经验结果表明，对于CT数据集，环形与完全图的收敛差异在1–5次迭代内达到4%以内（新模型预测），而旧模型则高估了数个数量级。
• 在MNIST和CIFAR-10上，新模型预测在4–250次迭代内收敛差异在10%以内，而旧模型预测为无穷次迭代，表明新模型精度显著提升。
• 仅靠谱间隙不足以预测收敛速度；拖尾者效应和通信波动性在实际性能中起主导作用。
• 实验结果证实，新模型的预测与多种数据集和硬件平台（Spark、ASCI Q）上的真实世界性能高度吻合。