[论文解读] Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization

Huan Li, Zhouchen Lin|arXiv (Cornell University)|Apr 6, 2021

Distributed Control Multi-Agent Systems参考文献 65被引用 13

一句话总结

该论文针对时变图上的去中心化优化提出了加速梯度追踪（Acc-GT）方法，将加速梯度追踪框架扩展至动态网络。其在非强凸问题下达到最优收敛速率 $\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^2\sqrt{\frac{L}{\epsilon}}\right)$，在强凸问题下达到 $\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^{1.5}\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right)$，当网络为静态时，与经典集中式加速梯度下降的界完全一致。

ABSTRACT

Decentralized optimization over time-varying graphs has been increasingly common in modern machine learning with massive data stored on millions of mobile devices, such as in federated learning. This paper revisits the widely used accelerated gradient tracking and extends it to time-varying graphs. We prove that the practical single loop accelerated gradient tracking needs $O((\fracγ{1-σ_γ})^2\sqrt{\frac{L}ε})$ and $O((\fracγ{1-σ_γ})^{1.5}\sqrt{\frac{L}μ}\log\frac{1}ε)$ iterations to reach an $ε$-optimal solution over time-varying graphs when the problems are nonstrongly convex and strongly convex, respectively, where $γ$ and $σ_γ$ are two common constants charactering the network connectivity, $L$ and $μ$ are the smoothness and strong convexity constants, respectively, and one iteration corresponds to one gradient oracle call and one communication round. Our convergence rates improve significantly over the ones of $O(\frac{1}{ε^{5/7}})$ and $O((\frac{L}μ)^{5/7}\frac{1}{(1-σ)^{1.5}}\log\frac{1}ε)$, respectively, which were proved in the original literature of accelerated gradient tracking only for static graphs, where $\fracγ{1-σ_γ}$ equals $\frac{1}{1-σ}$ when the network is time-invariant. When combining with a multiple consensus subroutine, the dependence on the network connectivity constants can be further improved to $O(1)$ and $O(\fracγ{1-σ_γ})$ for the gradient oracle and communication round complexities, respectively. When the network is static, by employing the Chebyshev acceleration, our complexities exactly match the lower bounds without hiding any poly-logarithmic factor for both nonstrongly convex and strongly convex problems.

研究动机与目标

• 为解决时变图上缺乏加速去中心化优化方法的问题，特别是在设备连接动态的联邦学习场景中。
• 将此前仅针对静态图分析的加速梯度追踪框架扩展至时变网络拓扑。
• 实现收敛复杂度与集中式加速梯度下降的下界一致，尤其在对精度 $\epsilon$ 和条件数 $L/\mu$ 的依赖关系上。
• 通过引入多个一致性子程序和切比雪夫加速，提升通信与计算效率。

提出的方法

• 通过引入时变常数 $\gamma$ 和 $\sigma_{\gamma}$ 建模网络连通性，将加速梯度追踪算法扩展至时变图。
• 提出一种单重循环实现的加速梯度追踪，确保在动态网络条件下仍保持收敛性。
• 利用梯度追踪估计各代理间全局梯度的平均值，从而在拓扑变化下实现对全局梯度方向的一致性。
• 采用多一致性子程序以解耦对网络连通性常数的依赖，提升通信复杂度。
• 应用切比雪夫加速，实现与静态图下已知下界一致的紧收敛界。
• 基于李雅普诺夫函数分析收敛性，在光滑性和凸性假设下建立目标误差与一致性误差的上界。

实验结果

研究问题

• RQ1 能否在保持最优收敛速率的前提下，将加速梯度追踪有效扩展至时变图？
• RQ2 在动态环境下，收敛复杂度对网络连通性参数 $\gamma$ 和 $\sigma_{\gamma}$ 的最优依赖关系为何？
• RQ3 当网络为静态时，该算法能否实现与集中式加速梯度下降下界一致的收敛速率？
• RQ4 在时变图中，使用多个一致性子程序如何影响对网络连通性的依赖？
• RQ5 切比雪夫加速是否能使算法在非强凸与强凸问题下均匹配已知的下界？

主要发现

• 所提出的 Acc-GT 在非强凸问题下实现 $\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^2\sqrt{\frac{L}{\epsilon}}\right)$ 复杂度，显著优于静态图下先前的 $\mathcal{O}\left(\frac{1}{\epsilon^{5/7}}\right)$ 界。
• 在强凸问题下，方法实现 $\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^{1.5}\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right)$ 复杂度，优于先前的 $\mathcal{O}\left(\left(\frac{L}{\mu}\right)^{5/7}\frac{1}{(1-\sigma)^{1.5}}\log\frac{1}{\epsilon}\right)$ 界。
• 结合多一致性子程序后，计算复杂度降为 $\mathcal{O}(1)$，通信复杂度为 $\mathcal{O}\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)$，显著降低对网络连通性的依赖。
• 在静态网络下，切比雪夫加速确保方法在非强凸与强凸情况下均匹配已知下界，且无隐藏的多对数因子。
• 实验表明，尽管将邻居数 $d$ 从 2 增加到 20 对目标误差下降速度影响较小，但一致性误差在 $d=20$ 时下降更快，表明一致性动力学得到改善。
• 理论分析表明，一致性误差下降速度在证明中未被紧密界定，提示收敛分析仍有进一步收紧的空间。