[论文解读] Distributed Stochastic Gradient Tracking Methods

Shi Pu, Angelia Nedić|arXiv (Cornell University)|May 25, 2018

Distributed Control Multi-Agent Systems参考文献 55被引用 13

一句话总结

本文提出了分布式随机梯度追踪（DSGT）和类似洪泛的随机梯度追踪（GSGT）方法，用于具有随机梯度的分布式多智能体优化。在常数步长下，DSGT 确保迭代序列以指数速度收敛至最优解的邻域，且误差界随网络规模 n 减小——与集中式随机梯度方法性能一致。

ABSTRACT

In this paper, we study the problem of distributed multi-agent optimization over a network, where each agent possesses a local cost function that is smooth and strongly convex. The global objective is to find a common solution that minimizes the average of all cost functions. Assuming agents only have access to unbiased estimates of the gradients of their local cost functions, we consider a distributed stochastic gradient tracking method (DSGT) and a gossip-like stochastic gradient tracking method (GSGT). We show that, in expectation, the iterates generated by each agent are attracted to a neighborhood of the optimal solution, where they accumulate exponentially fast (under a constant stepsize choice). Under DSGT, the limiting (expected) error bounds on the distance of the iterates from the optimal solution decrease with the network size $n$, which is a comparable performance to a centralized stochastic gradient algorithm. Moreover, we show that when the network is well-connected, GSGT incurs lower communication cost than DSGT while maintaining a similar computational cost. Numerical example further demonstrates the effectiveness of the proposed methods.

研究动机与目标

• 填补现有分布式随机优化方法在常数步长下无法实现误差界随网络规模 n 减小的空白。
• 开发一种分布式算法，其极限误差界性能与集中式随机梯度方法相当。
• 设计一种基于洪泛通信的变体（GSGT），在保持相似计算效率的同时降低通信成本。
• 在具有有界方差的随机梯度估计下，确保收敛至最优解的邻域。
• 分析网络连通性与步长对收敛速度和误差界的影响。

提出的方法

• 提出一种分布式随机梯度追踪方法（DSGT），其中每个智能体使用追踪变量 y_i 维护对平均梯度的本地估计。
• 采用常数步长 α 和混合矩阵 W，通过网络平均信息，确保以指数速度收敛至最优解的邻域。
• 在 GSGT 中采用基于洪泛的通信协议，每一步仅两个智能体通信，相比 DSGT 降低了通信成本。
• 利用李雅普诺夫分析和矩阵集中不等式推导误差界，考虑随机梯度噪声和网络拓扑的影响。
• 引入辅助变量 y_i 以追踪本地随机梯度的平均值，从而实现全局梯度平均的分布式计算。
• 通过递归不等式和对随机梯度方差的有界性分析，研究追踪误差和迭代序列的期望演化。

实验结果

研究问题

• RQ1 在常数步长下，是否能设计出一种分布式随机梯度方法，使其误差界随网络规模 n 减小，从而与集中式方法性能相当？
• RQ2 通信协议的选择（全扩散 vs. 洪泛）如何影响分布式随机优化中的收敛速度和通信成本？
• RQ3 网络连通性对分布式随机梯度方法的收敛速度和误差界有何影响？
• RQ4 在存在随机梯度噪声的情况下，DSGT 中的追踪机制是否能确保指数收敛至最优解的邻域？
• RQ5 DSGT 和 GSGT 的误差界如何随智能体数量和随机梯度方差变化？

主要发现

• 在常数步长下，DSGT 确保智能体迭代序列与最优解之间的期望距离以指数速度收敛至大小为 O(σ²/n) 的邻域，其中 σ² 为梯度噪声方差。
• DSGT 的极限误差界与网络规模 n 成反比，性能可与集中式随机梯度方法相媲美。
• GSGT 通过采用基于洪泛的协议，相比 DSGT 显著降低了通信成本，同时保持相似的计算复杂度和收敛速度。
• 当网络连通性良好时，GSGT 在不牺牲收敛质量的前提下，通信成本低于 DSGT。
• 分析表明，追踪误差和迭代序列偏离最优解的程度受 σ²、L（Lipschitz 常数）以及网络混合特性相关项的有界性约束。
• 期望追踪误差呈指数衰减，且收敛速度取决于混合矩阵的谱性质和步长选择。