[论文解读] Gradient tracking and variance reduction for decentralized optimization and machine learning

Ran Xin, Soummya Kar+1 more|arXiv (Cornell University)|Feb 13, 2020

Stochastic Gradient Optimization Techniques参考文献 50被引用 7

一句话总结

本文提出了一种统一框架，将梯度追踪与方差缩减相结合，用于去中心化随机优化，显著提升了标准去中心化随机梯度下降（DSGD）的收敛速度和鲁棒性。该方法在一般网络上对光滑且强凸的目标函数实现了线性收敛，具有理论保证，并在非凸问题上得到了实验验证。

ABSTRACT

Decentralized methods to solve finite-sum minimization problems are important in many signal processing and machine learning tasks where the data is distributed over a network of nodes and raw data sharing is not permitted due to privacy and/or resource constraints. In this article, we review decentralized stochastic first-order methods and provide a unified algorithmic framework that combines variance-reduction with gradient tracking to achieve both robust performance and fast convergence. We provide explicit theoretical guarantees of the corresponding methods when the objective functions are smooth and strongly-convex, and show their applicability to non-convex problems via numerical experiments. Throughout the article, we provide intuitive illustrations of the main technical ideas by casting appropriate tradeoffs and comparisons among the methods of interest and by highlighting applications to decentralized training of machine learning models.

研究动机与目标

• 解决在资源受限、隐私敏感环境中去中心化机器学习的挑战，其中数据分布在无中心协调的网络节点之间。
• 通过整合方差缩减技术，克服标准去中心化随机梯度下降（DSGD）收敛缓慢和方差高的问题。
• 开发一个统一的算法框架，将梯度追踪与多种方差缩减方法结合，以提升性能和鲁棒性。
• 为光滑且强凸的目标函数提供理论收敛保证，并在非凸问题（如深度学习）上进行实验验证。
• 分析所提出方法相较于DSGD引入的通信、计算和存储开销，确保实际可行性。

提出的方法

• 引入一种梯度追踪机制，使每个节点能够利用本地信息和邻居间的信息交换来估计全局梯度，确保梯度方向的一致性。
• 通过保持本地梯度记忆并高效更新估计值，将SAGA和SVRG等方差缩减技术整合到去中心化设置中。
• 采用基于一致性（consensus-based）的更新规则，每个节点维护全局梯度的本地估计，并通过加权平均邻居估计值来更新。
• 使用双随机（DS）或列随机（CS）权重矩阵来表述算法，以确保在一般有向图上的收敛性。
• 应用AB方法作为统一框架，将GT-DGD、SAGA和SVRG推广至有向图，实现更广泛的应用场景。
• 通过引入量化、异步更新以及通信/计算权衡机制，设计通信高效的变体，以减少开销。

实验结果

研究问题

• RQ1 如何在去中心化优化中有效结合方差缩减与梯度追踪以加速收敛？
• RQ2 在一般网络拓扑下，所提框架对光滑且强凸目标函数的理论收敛速率如何？
• RQ3 与标准DSGD相比，所提方法的通信、计算和存储成本如何随规模扩展？
• RQ4 该框架能否扩展至非凸问题（如深度神经网络训练），其性能在实验中表现如何？
• RQ5 AB算法在统一有向图上的去中心化方法、梯度追踪与方差缩减中起到什么作用？

主要发现

• 所提框架对光滑且强凸函数实现了线性收敛速率 O((1 - μ/L)^k)，与集中式设置下的最优已知速率相当。
• 如GT-SAGA和GT-SVRG等方差缩减梯度追踪方法相比标准DSGD收敛快得多，尤其在病态条件问题中表现显著。
• 通过AB算法，该框架可应用于一般有向图，即使通信权重非双随机，也能实现鲁棒性能。
• 数值实验表明，该方法在非凸问题（包括深度学习模型）上表现强劲，表明其在非凸假设下的实际应用潜力。
• 该方法因梯度记忆和追踪变量引入了适度的通信与存储开销，但其收敛速度的显著提升使其具有合理性。
• 理论分析证实，梯度追踪与方差缩减的结合在保持全局收敛的同时，有效降低了梯度方差并加速了收敛。