[论文解读] Advances in Asynchronous Parallel and Distributed Optimization

Mahmoud Assran, Arda Aytekin+3 more|arXiv (Cornell University)|Jun 24, 2020

Stochastic Gradient Optimization Techniques参考文献 87被引用 8

一句话总结

该论文推进了大规模机器学习中异步并行与分布式优化的理论与实践，提出了一种容许有界延迟的去中心化与集中式方法，其在实际运行时间上优于同步方法。研究表明，通过消除同步瓶颈，异步去中心化方法（如 OSGP）能实现更快的收敛速度，尤其在高工作者数量和网络延迟较高的情况下表现更优。

ABSTRACT

Motivated by large-scale optimization problems arising in the context of machine learning, there have been several advances in the study of asynchronous parallel and distributed optimization methods during the past decade. Asynchronous methods do not require all processors to maintain a consistent view of the optimization variables. Consequently, they generally can make more efficient use of computational resources than synchronous methods, and they are not sensitive to issues like stragglers (i.e., slow nodes) and unreliable communication links. Mathematical modeling of asynchronous methods involves proper accounting of information delays, which makes their analysis challenging. This article reviews recent developments in the design and analysis of asynchronous optimization methods, covering both centralized methods, where all processors update a master copy of the optimization variables, and decentralized methods, where each processor maintains a local copy of the variables. The analysis provides insights as to how the degree of asynchrony impacts convergence rates, especially in stochastic optimization methods.

研究动机与目标

• 解决由于慢速工作者（stragglers）效应和通信瓶颈导致的同步方法在大规模机器学习中的低效问题。
• 设计并分析容许有界信息延迟且保持收敛性的异步优化算法。
• 从实际运行时间和可扩展性角度，对比异步去中心化方法（如 OSGP）与同步方法（如 AllReduce SGD）的性能表现。
• 研究异步性对收敛速率的影响，特别是在随机优化设置下的表现。
• 提供关于有界延迟和通信图如何影响收敛性的理论洞见，同时识别出在非线性更新设置下的开放性挑战。

提出的方法

• 提出一种异步去中心化优化框架，其中每个处理器维护变量的本地副本，并在无全局同步的情况下异步更新。
• 采用有界延迟模型来形式化异步性，假设信息延迟是有限且已知的，从而支持收敛性分析。
• 提出 OSGP（乐观随机梯度推送）算法作为一种去中心化异步方法，利用本地梯度更新和基于一致性共识的平均化。
• 在部分异步条件下分析收敛性，表明有界延迟可实现有限时间收敛至目标精度。
• 通过使用延迟但有界的的信息模型，维持优化变量的一致视图，避免对全局同步的依赖。
• 在使用最多32个工作者（256块GPU）的ResNet-50训练任务上，通过实证验证该方法，对比实际运行时间与迭代效率。

实验结果

研究问题

• RQ1 在随机设置下，有界异步性如何影响去中心化优化算法的收敛速率？
• RQ2 像 OSGP 这样的异步去中心化方法能否在实际运行时间上实现比 AllReduce SGD 更快的收敛？
• RQ3 在分布式训练中，通信开销和同步成本如何随工作者数量增加而变化？
• RQ4 当应用于去中心化设置下的非线性梯度更新时，现有收敛性分析存在哪些局限性？
• RQ5 硬件特定特性（如 NUMA 架构和内存争用）如何影响异步优化算法的性能？

主要发现

• 由于消除了同步开销，OSGP 相较于 AllReduce SGD 显著减少了实际运行时间，尤其在工作者数量增加时优势更明显。
• 随着工作者数量增加，OSGP 和 SGP 的每次迭代耗时基本保持恒定，而 AllReduce SGD 的每次迭代耗时因通信成本上升而增长。
• 在 ImageNet 上训练 ResNet-50 时，尽管 OSGP 的每次迭代收敛速度较慢，但其在实际运行时间上的收敛速度仍快于 AllReduce SGD。
• 该方法在可扩展性方面优于同步方法，在从4个工作者（128块GPU）扩展到32个工作者（256块GPU）时表现出一致的性能提升。
• 实证结果表明，OSGP 在所有工作者上均保持了稳定的训练损失且方差较低，表明其对异步性和通信延迟具有强鲁棒性。
• 理论分析证实，异步更新中的有界延迟可实现有限时间收敛，为实际系统中的部署提供了理论基础。