[论文解读] Distributed Delayed Stochastic Optimization

Alekh Agarwal, John C. Duchi|arXiv (Cornell University)|Apr 28, 2011

Stochastic Gradient Optimization Techniques参考文献 20被引用 105

一句话总结

本文提出了一种在主从架构中使用延迟随机梯度的分布式随机优化框架，表明对于平滑问题，延迟在渐近意义上可忽略不计。尽管存在异步性，该方法在 $n$ 个节点上仍实现了最优的收敛速率 $ olimitsackslash mathcal extasciitilde O(1/\sqrt{nT})$，克服了大规模机器学习系统中的通信瓶颈和同步约束。

ABSTRACT

We analyze the convergence of gradient-based optimization algorithms that base their updates on delayed stochastic gradient information. The main application of our results is to the development of gradient-based distributed optimization algorithms where a master node performs parameter updates while worker nodes compute stochastic gradients based on local information in parallel, which may give rise to delays due to asynchrony. We take motivation from statistical problems where the size of the data is so large that it cannot fit on one computer; with the advent of huge datasets in biology, astronomy, and the internet, such problems are now common. Our main contribution is to show that for smooth stochastic problems, the delays are asymptotically negligible and we can achieve order-optimal convergence results. In application to distributed optimization, we develop procedures that overcome communication bottlenecks and synchronization requirements. We show $n$-node architectures whose optimization error in stochastic problems---in spite of asynchronous delays---scales asymptotically as $\order(1 / \sqrt{nT})$ after $T$ iterations. This rate is known to be optimal for a distributed system with $n$ nodes even in the absence of delays. We additionally complement our theoretical results with numerical experiments on a statistical machine learning task.

研究动机与目标

• 解决大规模机器学习中分布式随机优化面临的异步性和通信延迟挑战。
• 证明在平滑随机问题中，梯度更新的延迟不会降低收敛速率。
• 开发一种集中式控制框架，实现在 $n$ 个分布式节点上的高效、可扩展优化。
• 克服先前异步次梯度方法中由延迟梯度引起的渐近性能损失。
• 通过统计机器学习任务上的数值实验验证理论结果。

提出的方法

• 采用主从架构，其中主节点维护参数并聚合来自从节点的延迟随机梯度。
• 应用镜像下降和对偶平均更新，采用随时间衰减的自适应步长 $\alpha(t)$，其衰减形式为 $\mathcal{O}(1/t^c)$，其中 $c \in (0,1]$。
• 在梯度范数有界 $\mathbb{E}[\|g(t)\|_*^2] \leq G^2$ 以及目标函数梯度利普希茨连续的条件下分析收敛性。
• 利用三角不等式和正则化项 $\psi$ 的强凸性，推导出由延迟引起的参数偏差的上界。
• 运用霍尔德不等式和柯西-施瓦茨不等式，控制延迟迭代与当前迭代之间期望平方距离的上界。
• 证明即使存在 $\tau = \mathcal{O}(n)$ 的延迟，期望误差仍以 $\mathcal{O}(1/\sqrt{nT})$ 的速率衰减，与同步方法的最优速率一致。

实验结果

研究问题

• RQ1 在分布式系统中，延迟随机梯度能否实现与同步方法相同的收敛速率？
• RQ2 异步性是否会在平滑随机问题的收敛中引入渐近性能惩罚？
• RQ3 集中式控制模型能否克服分布式优化中的通信瓶颈？
• RQ4 当梯度异步计算时，延迟大小 $\tau$ 对收敛性有何影响？
• RQ5 为何先前的异步次梯度方法无法实现最优速率，如何修正这一问题？

主要发现

• 对于平滑随机问题，延迟在渐近意义上可忽略，且异步性不会降低收敛速率。
• 所提算法即使在 $\tau = \mathcal{O}(n)$ 的延迟下，也能在 $n$ 个节点上实现最优的 $\mathcal{O}(1/\sqrt{nT})$ 收敛速率。
• 该方法克服了先前异步次梯度方法中出现的 $\mathcal{O}(\sqrt{\tau/T})$ 性能惩罚。
• 理论分析表明，由延迟引起的参数更新期望误差有界，并随 $T$ 增大而减小。
• 数值实验在统计机器学习任务上验证了理论结果，证实了该方法的实际有效性。
• 在 Langford 等人 [LSZ09] 的工作中发现一个技术缺陷，其关键引理在约束条件下不成立，导致其结果仅适用于无约束情形。