[论文解读] Distributed Stochastic Optimization via Adaptive Stochastic Gradient Descent.

Ashok Cutkosky, Róbert Busa‐Fekete|arXiv (Cornell University)|Feb 16, 2018

Stochastic Gradient Optimization Techniques参考文献 17被引用 2

一句话总结

本文提出了一种基于自适应步长和方差缩减的分布式随机优化方法，实现了机器数量上的线性加速，同步轮次最少（与数据集大小呈对数关系），且内存占用低。该方法可泛化任意串行SGD算法，使自适应SGD方法在Spark上实现高效并行化，在大规模逻辑回归任务中取得显著性能提升。

ABSTRACT

Stochastic convex optimization algorithms are the most popular way to train machine learning models on large-scale data. Scaling up the training process of these models is crucial in many applications, but the most popular algorithm, Stochastic Gradient Descent (SGD), is a serial algorithm that is surprisingly hard to parallelize. In this paper, we propose an efficient distributed stochastic optimization method based on adaptive step sizes and variance reduction techniques. We achieve a linear speedup in the number of machines, small memory footprint, and only a small number of synchronization rounds -- logarithmic in dataset size -- in which the computation nodes communicate with each other. Critically, our approach is a general reduction than parallelizes any serial SGD algorithm, allowing us to leverage the significant progress that has been made in designing adaptive SGD algorithms. We conclude by implementing our algorithm in the Spark distributed framework and exhibit dramatic performance gains on large-scale logistic regression problems.

研究动机与目标

• 为解决在大规模机器学习中高效并行化串行随机梯度下降（SGD）的挑战。
• 通过将通信轮次限制在与数据集大小呈对数关系的规模，降低分布式优化中的同步开销。
• 在跨多台机器扩展时保持低内存占用。
• 泛化该方法，使其能够并行化任意现有的串行自适应SGD算法。
• 在真实世界的大规模逻辑回归问题中展示实际的性能提升。

提出的方法

• 该方法采用自适应步长以提升每次迭代的收敛速度，利用自适应SGD算法的最新进展。
• 通过集成方差缩减技术，稳定训练过程并加速分布式环境下的收敛。
• 通过将同步轮次数量最小化，实现线性加速，其规模与数据集大小呈对数关系。
• 通过一种通用的归约机制优化机器间的通信，从而并行化任意串行SGD实现。
• 通过避免存储完整梯度或大型历史缓冲区，保持较小的内存占用。
• 该方法在Apache Spark框架中实现，以支持在大规模集群上的实际部署。

实验结果

研究问题

• RQ1 在分布式环境中，是否能够以最少的同步开销高效并行化自适应随机梯度下降？
• RQ2 所提出的方法在分布式训练中是否相对于机器数量实现线性加速？
• RQ3 在分布式框架中，方差缩减与自适应步长能否有效结合以改善收敛性？
• RQ4 在所提出的分布式优化框架中，通信开销如何随数据集大小变化？
• RQ5 该方法在不牺牲性能的前提下，能多大程度上泛化至任意串行SGD算法？

主要发现

• 所提出的方法在机器数量上实现了线性加速，显著缩短了大规模数据集的训练时间。
• 同步轮次数量与数据集大小呈对数关系，有效减少了分布式训练中的通信瓶颈。
• 该方法保持了较小的内存占用，适用于资源受限的分布式环境。
• 该算法成功泛化了任意串行自适应SGD，使高级自适应方法可在分布式环境中使用。
• 在基于Spark的实验中，与标准分布式SGD相比，该方法在大规模逻辑回归问题上表现出显著的性能提升。