[论文解读] DSA: Decentralized Double Stochastic Averaging Gradient Algorithm

Aryan Mokhtari, Alejandro Ribeiro|arXiv (Cornell University)|Jun 13, 2015

Stochastic Gradient Optimization Techniques参考文献 33被引用 146

一句话总结

本文提出 DSA，一种去中心化随机优化算法，通过利用双重随机梯度平均与基于连续随机梯度差值的下降步骤，在强凸且光滑的目标函数下实现了期望意义下的线性收敛。与现有去中心化随机方法通常仅具有次线性收敛率不同，DSA 通过方差减少以及仅与邻居通信的本地计算，确保了快速收敛。

ABSTRACT

This paper considers convex optimization problems where nodes of a network have access to summands of a global objective. Each of these local objectives is further assumed to be an average of a finite set of functions. The motivation for this setup is to solve large scale machine learning problems where elements of the training set are distributed to multiple computational elements. The decentralized double stochastic averaging gradient (DSA) algorithm is proposed as a solution alternative that relies on: (i) The use of local stochastic averaging gradients. (ii) Determination of descent steps as differences of consecutive stochastic averaging gradients. Strong convexity of local functions and Lipschitz continuity of local gradients is shown to guarantee linear convergence of the sequence generated by DSA in expectation. Local iterates are further shown to approach the optimal argument for almost all realizations. The expected linear convergence of DSA is in contrast to the sublinear rate characteristic of existing methods for decentralized stochastic optimization. Numerical experiments on a logistic regression problem illustrate reductions in convergence time and number of feature vectors processed until convergence relative to these other alternatives.

研究动机与目标

• 为解决现有去中心化随机优化方法缺乏线性收敛的问题，这些方法通常存在次线性收敛速率。
• 开发一种去中心化算法，在每轮迭代中保持较低的计算成本，同时收敛速度优于次线性方法。
• 通过将训练数据分布在一组代理节点上，实现高效的大规模机器学习。
• 在强凸性和利普希茨连续梯度条件下，实现期望意义下的线性收敛，克服随机方法中由方差引起的收敛变慢问题。

提出的方法

• DSA 使用本地随机梯度平均，每个节点在每轮迭代中采样其本地函数之一，并维护最近随机梯度的运行平均值。
• 该算法通过连续梯度平均值的差值计算下降步骤，实现方差减少并提升收敛性能。
• 将 EXTRA 算法重新表述为对偶点方法，并用随机近似替代确定性梯度，以降低每轮迭代的计算成本。
• 该方法在仅与相邻节点通信的去中心化网络中运行，确保可扩展性与隐私性。
• 通过使用结合原始变量与对偶变量的李雅普诺夫函数，采用超鞅分析方法建立收敛性，其中步长与动量参数经过精心选择。
• 理论上证明，在强凸性和利普希茨连续梯度假设下，该算法在期望意义下实现线性收敛，且对步长、动量及方差减少参数给出了明确的条件。

实验结果

研究问题

• RQ1 去中心化随机优化算法能否在期望意义下实现线性收敛，达到最优确定性方法的性能？
• RQ2 在去中心化设置中，如何在不依赖全局梯度计算的前提下减少随机梯度的方差？
• RQ3 步长、动量及方差减少参数需满足何种条件，才能确保期望意义下的线性收敛？
• RQ4 能否将 EXTRA 算法的线性收敛特性，通过梯度的双重平均方式，推广至随机且去中心化的设置？

主要发现

• DSA 在强凸且光滑的目标函数下实现了期望意义下的线性收敛，期望距离最优解的误差以几何速率在每轮迭代中减小。
• 即使存在随机近似误差，该算法仍能确保本地迭代序列以几乎必然的方式收敛至最优解。
• 在逻辑回归上的数值实验表明，与现有去中心化随机方法相比，DSA 显著减少了收敛时间与处理的特征向量数量。
• DSA 的收敛速率是线性的（即 O(ρ^t)，其中 ρ < 1），与标准去中心化随机梯度方法的次线性速率 O(1/t) 形成鲜明对比。
• 理论分析给出了确保 δ > 0 与线性收敛的步长 η、动量 α 与方差减少参数 c 的显式条件。
• 该方法通过每轮仅在每个节点上执行一次本地函数评估，保持了极低的每轮计算成本，同时实现了快速收敛。