[论文解读] DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization

Lin Xiao, Adams Wei Yu+2 more|arXiv (Cornell University)|Oct 13, 2017

Stochastic Gradient Optimization Techniques参考文献 8被引用 8

一句话总结

本文提出 DSCOVR，一种用于大规模机器学习中异步分布式优化的随机原始-对偶块坐标算法家族。通过利用具有双重随机坐标更新和方差减少的鞍点公式，DSCOVR 在通信和同步方面相比现有的一阶方法实现了更快的收敛速度，尤其在参数服务器架构下表现更优。

ABSTRACT

Machine learning with big data often involves large optimization models. For distributed optimization over a cluster of machines, frequent communication and synchronization of all model parameters (optimization variables) can be very costly. A promising solution is to use parameter servers to store different subsets of the model parameters, and update them asynchronously at different machines using local datasets. In this paper, we focus on distributed optimization of large linear models with convex loss functions, and propose a family of randomized primal-dual block coordinate algorithms that are especially suitable for asynchronous distributed implementation with parameter servers. In particular, we work with the saddle-point formulation of such problems which allows simultaneous data and model partitioning, and exploit its structure by doubly stochastic coordinate optimization with variance reduction (DSCOVR). Compared with other first-order distributed algorithms, we show that DSCOVR may require less amount of overall computation and communication, and less or no synchronization. We discuss the implementation details of the DSCOVR algorithms, and present numerical experiments on an industrial distributed computing system.

研究动机与目标

• 通过在参数服务器上实现高效、可扩展的优化，解决分布式机器学习中的高通信和同步成本问题。
• 设计一种支持数据和模型分区的分布式优化框架，同时最小化同步开销。
• 开发一种适用于大规模系统中异步执行的具有方差减少的原始-对偶块坐标方法。
• 与现有的基于一阶的分布式算法相比，实现更快的收敛速度，同时减少通信和计算开销。

提出的方法

• 将分布式优化问题公式化为一个鞍点问题，以实现在机器之间的数据和模型同时分区。
• 引入一种双重随机坐标更新方案，随机选择变量和约束的块进行更新，从而降低每次迭代的计算成本。
• 在原始-对偶块坐标框架内应用方差减少技术（SVRG 和 SAGA 变体），以加速收敛。
• 采用参数服务器架构设计异步实现，其中机器在无需等待其他机器的情况下更新本地模型参数。
• 使用带正则化的增广拉格朗日公式来平衡对偶变量和原始变量的更新，确保在异步条件下仍能收敛。
• 利用李雅普诺夫函数和闵可夫斯基不等式推导期望收敛速率，证明在适当条件下可实现线性收敛。

实验结果

研究问题

• RQ1 具有方差减少的随机原始-对偶块坐标方法是否能在最小同步条件下实现分布式优化中的更快收敛？
• RQ2 与现有的一阶分布式方法相比，所提出的 DSCOVR 算法在通信和计算效率方面表现如何？
• RQ3 在使用参数服务器的异步执行条件下，DSCOVR 算法的收敛速率是多少？
• RQ4 在分布式环境中使用双重随机更新和方差减少时，该算法是否仍能保持收敛保证？
• RQ5 在真实的大规模分布式系统中，该算法在数据和模型规模增加时的可扩展性如何？

主要发现

• DSCOVR 在期望下实现线性收敛速率，速率为 $ \big(1 - \frac{1}{2(1+\nu)}\big)^2 $，其中 $ \nu $ 控制近似精度。
• 该算法需要 $ r \rightarrow (1+\nu)\frac{1}{2} \frac{\text{log}(\tilde{z}^{(0)} - z^*)^2 / \tilde{\nu}}{\text{log}} $ 次迭代才能达到 $ \tilde{\nu} $-精度，显示出对误差容限的对数依赖性。
• 在 DSCOVR 中使用 SVRG 或 SAGA 变体可确保收敛且方差降低，从而实现更快、更稳定的优化进展。
• 与标准的一阶分布式算法相比，该方法所需的总体计算和通信开销更少，尤其在同步成本较高时优势明显。
• 在工业级分布式系统上的数值实验表明，DSCOVR 在收敛速度和可扩展性方面均优于基线方法。
• 即使在异步更新下，该算法仍能保持收敛性，表明其对大规模集群中慢速节点（stragglers）具有鲁棒性。