[论文解读] An introduction to decentralized stochastic optimization with gradient tracking

Ran Xin, Soummya Kar+1 more|arXiv (Cornell University)|Jul 23, 2019

Distributed Control Multi-Agent Systems参考文献 51被引用 11

一句话总结

本文提出了一种用于平滑且强凸的有限求和问题的去中心化随机优化方法，结合梯度追踪技术，实现了无需中心协调器的通信高效、对等学习。结果表明，梯度追踪可实现高精度解的收敛，且在任意网络拓扑和通信约束下，收敛速率优于标准的去中心化随机梯度下降（SGD）。

ABSTRACT

Decentralized solutions to finite-sum minimization are of significant importance in many signal processing, control, and machine learning applications. In such settings, the data is distributed over a network of arbitrarily-connected nodes and raw data sharing is prohibitive often due to communication or privacy constraints. In this article, we review decentralized stochastic first-order optimization methods and illustrate some recent improvements based on gradient tracking and variance reduction, focusing particularly on smooth and strongly-convex objective functions. We provide intuitive illustrations of the main technical ideas as well as applications of the algorithms in the context of decentralized training of machine learning models.

研究动机与目标

• 解决数据分布在节点上、通信和隐私约束受限的去中心化机器学习挑战。
• 开发可扩展的基于一致性（consensus-based）优化方法，避免集中式数据聚合或主从协调。
• 通过梯度追踪和方差减少技术，提升去中心化环境下的收敛速度和精度。
• 使原本专为集中式环境设计的先进一阶随机优化方法，可应用于去中心化对等网络。
• 通过利用梯度追踪和非双随机权重，将这些方法扩展至任意有向图。

提出的方法

• 提出一种去中心化梯度追踪框架（GT-DGD），通过一致性机制在各节点上维护全局梯度的本地估计。
• 通过在迭代过程中追踪梯度，将方差减少技术（如 SAGA、SVRG）集成到去中心化设置中，降低随机更新中的噪声。
• 在无向图中使用双随机权重矩阵实现一致性；通过 AB 算法框架引入行随机和列随机权重，将方法扩展至有向图。
• 设计一种通信高效的协议，使每个节点仅与邻居交换模型参数和梯度估计，最大限度减少数据传输。
• 在有向图中使用推-求和（push-sum）技术处理非双随机权重，使一致性达成无需特征向量估计（在某些变体中）。
• 推导 GT 基方法在平滑且强凸目标函数下的收敛速率，表明其在强凸性和光滑性条件下实现线性收敛，且收敛速率依赖于条件数。

实验结果

研究问题

• RQ1 如何将集中式随机一阶方法适配到通信受限、无中心协调器的去中心化对等网络？
• RQ2 在任意网络拓扑下，梯度追踪在实现去中心化随机优化收敛中起到何种作用？
• RQ3 方差减少技术如何提升去中心化环境下的收敛速度和解的精度？
• RQ4 梯度追踪能否扩展至权重矩阵非双随机的有向图？
• RQ5 去中心化优化中的通信与计算权衡是什么？如何最小化这些权衡？

主要发现

• 梯度追踪使去中心化随机优化在平滑且强凸函数上实现线性收敛，收敛速率与集中式方法相当。
• 所提出的 GT-SAGA 和 GT-SVRG 变体通过减少梯度方差，实现更优的收敛速率，从而更快收敛至高精度解。
• AB 框架通过使用行随机和列随机权重，使 GT 基方法可应用于任意有向图，克服了双随机矩阵的局限性。
• SAB 和 ADD-OPT 将 GT-DGD 扩展至有向图，保持收敛性的同时降低通信开销并提升鲁棒性。
• GT 基方法的收敛速率依赖于条件数 $κ = L/μ$，在强凸性和光滑性条件下实现线性收敛。
• 通过最小化参数交换并利用本地梯度追踪，显著提升了通信效率，使该方法适用于资源受限的物联网和边缘设备。