[论文解读] Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms

Janis Keuper, Franz‐Josef Pfreundt|arXiv (Cornell University)|May 19, 2015

Stochastic Gradient Optimization Techniques参考文献 14被引用 8

一句话总结

本文提出了一种异步并行随机梯度下降（ASGD）算法，这是一种无锁、通信优化的可扩展分布式机器学习算法。通过利用GASPI实现的异步单边通信和小批量更新，ASGD在1TB数据的大规模K-均值聚类工作负载中，相较于基于MapReduce的方法和同步方法，实现了更快的收敛速度和更优的可扩展性，在速度和稳定性方面优于SimuParallelSGD和BATCH。

ABSTRACT

The implementation of a vast majority of machine learning (ML) algorithms boils down to solving a numerical optimization problem. In this context, Stochastic Gradient Descent (SGD) methods have long proven to provide good results, both in terms of convergence and accuracy. Recently, several parallelization approaches have been proposed in order to scale SGD to solve very large ML problems. At their core, most of these approaches are following a map-reduce scheme. This paper presents a novel parallel updating algorithm for SGD, which utilizes the asynchronous single-sided communication paradigm. Compared to existing methods, Asynchronous Parallel Stochastic Gradient Descent (ASGD) provides faster (or at least equal) convergence, close to linear scaling and stable accuracy.

研究动机与目标

• 解决传统基于MapReduce的并行化和同步SGD在分布式内存系统中的可扩展性限制。
• 通过消除通信瓶颈和锁定机制，实现在大规模机器学习中的快速、稳定收敛。
• 设计一种适用于高通信延迟的分布式内存集群的无锁、异步通信方案。
• 评估异步通信和小批量更新对收敛速度和优化稳定性的影响。
• 在真实世界的大规模数据集（如1TB合成训练数据）上，展示线性可扩展性和卓越性能。

提出的方法

• 该方法基于GASPI编程框架，采用异步单边通信模型，以消除锁定并减少通信开销。
• 采用小批量更新策略，即在更新全局模型前对小批量（b=500）的梯度进行累积，从而提高收敛的鲁棒性。
• 通过允许在分布式节点间独立、非阻塞地更新共享模型参数，避免了同步点。
• 使用Parzen窗函数选择‘优质’消息进行本地更新，确保仅应用相关的梯度贡献。
• 系统支持通过最小通信实现早期收敛，以及通过类似MapReduce的reduce步骤进行最终聚合，以获得完整精度。
• 通过批量大小b控制通信频率，当带宽未饱和时可实现最佳性能。

实验结果

研究问题

• RQ1 与同步方法和基于MapReduce的方法相比，异步单边通信是否能显著提升分布式SGD的收敛速度和可扩展性？
• RQ2 在分布式环境中，小批量更新的集成如何影响异步SGD的稳定性和准确性？
• RQ3 在大规模机器学习工作负载中，无锁机制的缺失对收敛和优化误差的影响有多大？
• RQ4 如何确定最优通信频率（由批量大小b控制），以在收敛速度和通信开销之间取得平衡？
• RQ5 在早期终止情况下，所提出的ASGD方法是否保持或优于基线SGD和SimuParallelSGD的准确性？

主要发现

• ASGD在1TB合成数据上的收敛速度远超SimuParallelSGD和基于MapReduce的BATCH，速度提升达数量级。
• 在1024个CPU上，ASGD展现出优于线性的可扩展性，优于通信密集型和同步方法。
• 与SGD相比，ASGD在K-均值结果中保持了更稳定的优化误差，方差更低，表明其鲁棒性更强。
• 当通信带宽超限时，ASGD的开销增加至30%以上，凸显了根据硬件限制调整批量大小b的重要性。
• 禁用异步通信（静默模式）会显著降低早期收敛性能，证明异步通信是性能提升的关键驱动因素。
• 通过reduce步骤进行最终聚合可略微提升准确性，但仅使用异步方法即可在极低延迟下获得具有竞争力的结果。