[论文解读] Decentralized Consensus Algorithm with Delayed and Stochastic Gradients

Benjamin Sirb, Xiaojing Ye|arXiv (Cornell University)|Apr 19, 2016

Distributed Control Multi-Agent Systems参考文献 47被引用 9

一句话总结

该论文提出了一种去中心化共识算法，利用延迟和随机梯度进行网络中的分布式优化，其中节点无法同步。在预期延迟有界且步长递减的条件下，证明了算法收敛至最优解，并推导出目标函数和一致性误差的收敛速率。

ABSTRACT

We analyze the convergence of decentralized consensus algorithm with delayed gradient information across the network. The nodes in the network privately hold parts of the objective function and collaboratively solve for the consensus optimal solution of the total objective while they can only communicate with their immediate neighbors. In real-world networks, it is often difficult and sometimes impossible to synchronize the nodes, and therefore they have to use stale gradient information during computations. We show that, as long as the random delays are bounded in expectation and a proper diminishing step size policy is employed, the iterates generated by decentralized gradient descent method converge to a consensual optimal solution. Convergence rates of both objective and consensus are derived. Numerical results on a number of synthetic problems and real-world seismic tomography datasets in decentralized sensor networks are presented to show the performance of the method.

研究动机与目标

• 解决节点无法同步、必须使用过时梯度信息的网络中的去中心化优化挑战。
• 即使在网络中梯度更新存在随机延迟，也确保收敛至一致的最优解。
• 根据迭代次数、延迟水平和网络结构，分析目标函数值和一致性误差的收敛速率。
• 为在现实异步环境中使用延迟和随机梯度的去中心化梯度下降提供理论保证。
• 在合成问题和真实世界地震层析成像数据集上展示该方法的鲁棒性和性能。

提出的方法

• 将去中心化共识问题表述为在节点网络中最小化分布式的凸函数之和。
• 将每个节点的局部目标函数建模为带有随机噪声的随机函数，并使用无偏随机梯度进行计算。
• 提出一种去中心化梯度下降算法，由于缺乏同步而引入延迟梯度信息。
• 采用递减步长策略，以确保尽管存在过时梯度更新也能实现收敛。
• 使用类似李雅普诺夫的分析方法，界定迭代值的期望误差，并推导收敛速率。
• 应用杨不等式和无偏随机梯度的性质，控制由延迟和噪声梯度引起的误差项。

实验结果

研究问题

• RQ1 在异步网络中，使用延迟和随机梯度的去中心化梯度下降是否仍能收敛至最优解？
• RQ2 在预期延迟有界的条件下，目标函数值和一致性误差的收敛速率是多少？
• RQ3 网络结构和延迟水平如何影响去中心化算法的收敛行为？
• RQ4 何种步长策略可在梯度信息过时且存在噪声时确保收敛？
• RQ5 该方法在具有高维、噪声数据的现实世界数据集（如地震层析成像）上的表现如何？

主要发现

• 当预期延迟有界且采用递减步长策略时，该算法以几乎必然的方式收敛至最优解。
• 在给定假设下，目标函数的收敛速率为 $ O(1/\tau) $，其中 $ \tau $ 为迭代次数。
• 一致性误差以 $ O(1/\sqrt{\tau}) $ 的速率衰减，表明节点随时间逐渐达成一致。
• 理论分析将期望次优间隙 $ \mathbb{E}[f(y(T)) - f(x^*)] $ 限制在涉及网络规模、延迟和噪声方差的项中。
• 在合成数据和地震层析成像数据集上的数值实验验证了该算法在实际中的鲁棒性和收敛行为。
• 该方法在存在显著延迟和随机噪声的情况下仍保持良好性能，证明了其在真实世界去中心化网络中的实际可行性。