[论文解读] Distributed Stochastic Optimization via Adaptive SGD

Ashok Cutkosky, Róbert Busa‐Fekete|arXiv (Cornell University)|Feb 16, 2018

Stochastic Gradient Optimization Techniques被引用 14

一句话总结

本文提出了一种分布式随机优化方法，结合自适应随机梯度下降（SGD）与方差减少技术，实现了跨机器的线性加速、恒定内存使用以及仅对数级通信轮次。该方法可对任意串行在线学习算法进行黑箱并行化，实现无需调节光滑性参数的最优收敛性，并在Spark实现的逻辑回归中展现出显著的运行时性能提升。

ABSTRACT

Stochastic convex optimization algorithms are the most popular way to train machine learning models on large-scale data. Scaling up the training process of these models is crucial, but the most popular algorithm, Stochastic Gradient Descent (SGD), is a serial method that is surprisingly hard to parallelize. In this paper, we propose an efficient distributed stochastic optimization method by combining adaptivity with variance reduction techniques. Our analysis yields a linear speedup in the number of machines, constant memory footprint, and only a logarithmic number of communication rounds. Critically, our approach is a black-box reduction that parallelizes any serial online learning algorithm, streamlining prior analysis and allowing us to leverage the significant progress that has been made in designing adaptive algorithms. In particular, we achieve optimal convergence rates without any prior knowledge of smoothness parameters, yielding a more robust algorithm that reduces the need for hyperparameter tuning. We implement our algorithm in the Spark distributed framework and exhibit dramatic performance gains on large-scale logistic regression problems.

研究动机与目标

• 为解决大规模机器学习中随机凸优化的可扩展性挑战，通过高效并行化串行在线学习算法来实现。
• 在机器数量增加时实现线性加速，同时保持恒定内存和对数级通信轮次。
• 通过自动适应未知问题参数，消除对光滑性参数手动调优的需求。
• 提供一种黑箱约化方法，简化分析过程，并允许复用现有的自适应在线学习算法。
• 在Spark框架上对大规模逻辑回归进行实证验证，结果表明该方法在运行时间上实现了显著提升。

提出的方法

• 该方法采用黑箱约化技术，对任意具备充分自适应收敛保证的串行在线学习算法进行并行化。
• 通过批量梯度估计阶段（类似于SVRG）实现方差减少，以降低分布式环境中的梯度噪声。
• 算法在批量阶段（并行计算精确梯度）与SGD阶段（使用批量梯度以减少方差）之间交替执行。
• 通过一种新颖的扰动技术维持自适应学习率，确保在无需事先了解光滑性参数的情况下实现收敛。
• 通过分层的多级聚合策略最小化通信开销，将同步轮次减少至与数据规模对数相关。
• 该框架支持流式数据处理，并通过在处理后丢弃旧数据，实现每台机器的恒定内存占用。

实验结果

研究问题

• RQ1 能否设计一种分布式随机优化算法，在保持恒定内存和对数级通信轮次的同时，实现跨机器的线性加速？
• RQ2 能否设计一种黑箱约化方法，对任意串行在线学习算法进行并行化，而无需修改其内部学习率或参数更新规则？
• RQ3 该算法能否在无需事先了解光滑性参数L的情况下，实现最优收敛速率？
• RQ4 在大规模逻辑回归任务中，该方法是否在收敛速度和通信效率方面优于现有分布式SGD变体？
• RQ5 该算法能否在大幅降低运行时间的同时，保持与串行版本相同的样本复杂度？

主要发现

• 当 m < √N 时，该算法的时间复杂度为 Õ(N/m)，空间复杂度为 O(1)，通信复杂度为 Õ(1) 轮次，仅含对数因子。
• 该方法在无需调优光滑性参数L的情况下，实现了 Õ(1/√N) 的最优收敛速率，从而可自动适应未知问题特征。
• 在Spark上的实证评估表明，该并行实现的样本复杂度与串行算法相当，同时在大规模逻辑回归任务中将运行时间减少了高达90%。
• 在KDD10和KDD12数据集上，所提出的SVRG OL方法在仅4轮通信和6分钟运行时间内，测试损失更低且AUC更高，优于Spark ML、VW、MiniBatch SGD和标准SVRG。
• 由于鲁棒的方差减少和自适应正则化，即使批量梯度估计存在噪声，该算法仍能以高概率实现 Õ(1/√N) 的次优性界。
• 该方法在通信效率方面优于先前方法，将通信轮次从minibatch-SGD中的√N减少至N的对数级，从而在N极大时实现近乎恒定的Map-Reduce作业次数。