[论文解读] An Accelerated Decentralized Stochastic Proximal Algorithm for Finite Sums

Hadrien Hendrikx, Francis Bach+1 more|arXiv (Cornell University)|May 27, 2019

Stochastic Gradient Optimization Techniques参考文献 37被引用 16

一句话总结

该论文提出 ADFS，一种用于有限和优化的加速去中心化随机近端算法，结合了节点上的局部随机更新与节点间的随机成对通信。其收敛速度与单机最优集中式算法相当，但在 $ n $ 台机器上可高效扩展，学习 $ nm $ 个样本的时间仅相当于单机方法处理 $ m $ 个样本的时间——直到达到基于通信延迟和网络拓扑的临界网络规模为止。

ABSTRACT

Modern large-scale finite-sum optimization relies on two key aspects: distribution and stochastic updates. For smooth and strongly convex problems, existing decentralized algorithms are slower than modern accelerated variance-reduced stochastic algorithms when run on a single machine, and are therefore not efficient. Centralized algorithms are fast, but their scaling is limited by global aggregation steps that result in communication bottlenecks. In this work, we propose an efficient extbf{A}ccelerated extbf{D}ecentralized stochastic algorithm for extbf{F}inite extbf{S}ums named ADFS, which uses local stochastic proximal updates and randomized pairwise communications between nodes. On $n$ machines, ADFS learns from $nm$ samples in the same time it takes optimal algorithms to learn from $m$ samples on one machine. This scaling holds until a critical network size is reached, which depends on communication delays, on the number of samples $m$, and on the network topology. We provide a theoretical analysis based on a novel augmented graph approach combined with a precise evaluation of synchronization times and an extension of the accelerated proximal coordinate gradient algorithm to arbitrary sampling. We illustrate the improvement of ADFS over state-of-the-art decentralized approaches with experiments.

研究动机与目标

• 为解决现有去中心化算法在单机上速度慢于集中式加速方法的低效问题。
• 通过实现分布式环境中的可扩展、快速收敛，弥合去中心化与随机优化之间的差距。
• 设计一种去中心化算法，使其收敛速率与最优集中式算法相当，同时避免全局聚合带来的通信瓶颈。
• 在包含通信延迟和不同网络拓扑的现实网络条件下，分析算法的性能。
• 证明在高延迟环境中，去中心化方法可优于集中式方法。

提出的方法

• ADFS 在每个节点上使用局部随机近端更新，利用有限和结构降低每次迭代的计算成本。
• 通过相邻节点间的随机成对通信同步信息，避免全局聚合带来的通信瓶颈。
• 将加速近端坐标梯度法与任意采样相结合，将其适用性扩展至去中心化设置。
• 提出一种新型增强图模型，以在理论分析中精确建模通信与同步延迟。
• 显式评估同步时间以考虑网络延迟，从而获得更紧致的收敛界。
• 在包含 $ \rho_s $（随机条件数）和 $ \rho_b $（小批量条件数）的条件数框架下进行分析，其中 $ \gamma $ 表示网络图的拉普拉斯条件数。

实验结果

研究问题

• RQ1 去中心化算法能否在避免全局通信瓶颈的同时，实现与最优集中式随机算法相同的收敛速率？
• RQ2 去中心化随机算法的性能如何随网络规模和通信延迟而变化？
• RQ3 网络拓扑与通信延迟对去中心化有限和优化收敛性有何影响？
• RQ4 在高延迟环境中，局部随机更新结合成对通信能否优于集中式方法？
• RQ5 何种理论框架可实现对去中心化算法中同步与通信延迟的紧致分析？

主要发现

• ADFS 的收敛时间为 $ m + \sqrt{m\kappa_s} + (1+\tau)\sqrt{\frac{\kappa_s}{\gamma}} $，与单机最优算法处理 $ m $ 个样本所需时间一致。
• 在 $ n $ 台机器上，ADFS 在单机最优算法处理 $ m $ 个样本的时间内完成对 $ nm $ 个样本的学习，展现出线性扩展效率。
• 与最先进的去中心化方法（如 MSDA 和 DSBA）相比，ADFS 表现更优，尤其在高通信延迟（$ \tau = 50 $）条件下。
• 在高延迟环境下，ADFS 超越集中式 Katyusha，因其能保持较小的有效小批量大小并避免大的通信开销。
• 基于增强图模型与精确同步时间的理论分析，提供了考虑网络延迟与拓扑的紧致收敛界。
• 在 Higgs 与 Covtype 数据集上的实验验证了 ADFS 在高延迟环境下的优越性，且在不同网络规模与延迟条件下均表现出稳定性能。