[论文解读] Asynchronous decentralized accelerated stochastic gradient descent

Guanghui Lan, Yi Zhou|arXiv (Cornell University)|Sep 24, 2018

Distributed Control Multi-Agent Systems参考文献 22被引用 7

一句话总结

该论文提出了一种异步去中心化加速随机梯度下降方法（ADPD），在去中心化随机优化中实现了最优的通信和采样复杂度。通过采用具有异步代理激活的双重随机原始-对偶框架，该方法在一般凸问题下达到$Ø(1/\epsilon)$的通信复杂度和$Ø(1/\epsilon^2)$的采样复杂度，而在强凸问题下分别达到$Ø(1/\sqrt{\epsilon}})$和$Ø(1/\epsilon)$的复杂度。

ABSTRACT

In this work, we introduce an asynchronous decentralized accelerated stochastic gradient descent type of method for decentralized stochastic optimization, considering communication and synchronization are the major bottlenecks. We establish $\mathcal{O}(1/ε)$ (resp., $\mathcal{O}(1/\sqrtε)$) communication complexity and $\mathcal{O}(1/ε^2)$ (resp., $\mathcal{O}(1/ε)$) sampling complexity for solving general convex (resp., strongly convex) problems.

研究动机与目标

• 解决大规模网络中由于通信和处理延迟导致的同步去中心化优化效率低下的问题。
• 设计一种异步算法，在无需全局同步的情况下保持最优收敛速率。
• 克服现有异步随机方法依赖精确梯度或缺乏加速的局限性。
• 在统一的光滑性和曲率条件下，为一般凸问题和强凸问题实现最优的通信和采样复杂度。
• 将先前关于同步通信高效方法的研究扩展到异步设置，同时保持最优复杂度界。

提出的方法

• 提出一种异步去中心化原始-对偶（ADPD）方法，每轮迭代中随机激活两个代理，以减少同步开销。
• 采用双重随机化方案，激活的代理与其邻居之间每轮迭代进行两轮通信。
• 引入去中心化问题的原始-对偶鞍点公式化，以实现高效的对偶变量更新。
• 采用自适应步长和类似动量的参数以加速收敛，其推导基于Nesterov型加速技术。
• 设计一种随机次梯度预言机，以处理噪声梯度信息，适用于流式或在线数据。
• 通过李雅普诺夫函数分析建立收敛性，该分析同时跟踪原始最优性间隙和可行性残差。

实验结果

研究问题

• RQ1 异步去中心化算法能否实现与最佳已知同步方法相同的最优通信和采样复杂度？
• RQ2 当梯度具有随机性且通信为异步时，随机代理激活如何影响收敛性？
• RQ3 中心化随机优化中的加速技术能否被适配到具有噪声梯度的去中心化异步设置中？
• RQ4 网络结构和代理异质性对异步更新下收敛性的影响如何？
• RQ5 当目标函数满足广义光滑性和曲率条件（2）时，所提方法是否仍能保持最优复杂度界？

主要发现

• ADPD方法在一般凸问题下实现$Ø(1/\epsilon)$的通信复杂度和$Ø(1/\epsilon^2)$的采样复杂度。
• 对于强凸问题，该方法达到$Ø(1/\sqrt{\epsilon}})$的通信复杂度和$Ø(1/\epsilon)$的采样复杂度。
• 尽管存在异步性，其收敛速率与同步通信高效方法的最佳已知界一致。
• 该方法对噪声梯度信息具有鲁棒性，且无需精确次梯度，适用于在线和流式数据。
• 理论分析证实，在广义光滑性和曲率条件（2）下，几乎必然收敛至最优解。
• 当代理异步激活且通信仅限于邻居时，该算法仍能保持最优复杂度。