[论文解读] ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks

Dmitry Kovalev, Egor Shulgin+3 more|arXiv (Cornell University)|Feb 18, 2021

Sparse and Compressive Sensing Techniques参考文献 34被引用 13

一句话总结

ADOM 是一种用于时变网络的加速去中心化优化方法，通过使用对偶预言机，实现了通信复杂度 $\mathcal{O}(\chi\kappa^{1/2}\log \frac{1}{\varepsilon})$，与静态全连接网络中 Nesterov 加速方法的速率相匹配。它在仅要求网络连通性的最弱假设下确保收敛，因此对动态拓扑具有鲁棒性。

ABSTRACT

We propose ADOM - an accelerated method for smooth and strongly convex decentralized optimization over time-varying networks. ADOM uses a dual oracle, i.e., we assume access to the gradient of the Fenchel conjugate of the individual loss functions. Up to a constant factor, which depends on the network structure only, its communication complexity is the same as that of accelerated Nesterov gradient method (Nesterov, 2003). To the best of our knowledge, only the algorithm of Rogozin et al. (2019) has a convergence rate with similar properties. However, their algorithm converges under the very restrictive assumption that the number of network changes can not be greater than a tiny percentage of the number of iterations. This assumption is hard to satisfy in practice, as the network topology changes usually can not be controlled. In contrast, ADOM merely requires the network to stay connected throughout time.

研究动机与目标

• 解决时变网络中拓扑动态变化时缺乏高效、加速的去中心化优化方法的问题。
• 克服先前加速方法对网络变化次数施加的严格假设限制。
• 在保持动态环境下有效性的前提下，实现与静态网络中最佳已知速率相匹配的通信复杂度。
• 提供一个理论基础坚实、稳定的算法，在对网络结构假设最少的情况下保持线性收敛。
• 使算法能够在联邦学习和移动边缘计算等新兴系统中实际部署，这些系统中的网络连通性本质上是时变的。

提出的方法

• 提出 ADOM，一种基于广义投影 Nesterov 梯度下降（PNGD）方法的加速算法，利用对偶预言机。
• 利用个体损失函数的 Fenchel 共轭梯度访问，以实现高效的对偶空间更新。
• 将去中心化通信建模为一个压缩算子，该算子可能是有偏的且满足收缩性，以分析时变拓扑下的收敛性。
• 提出一种新颖的分析框架，考虑网络矩阵 $\mathbf{W}^k$ 的时变特性及其谱性质。
• 通过使用梯度下降或加速梯度下降的少数迭代来近似对偶梯度，以确保实用性。
• 通过依赖网络连通性而非有界网络变化来确保稳定性和收敛性，从而放宽了先前的假设。

实验结果

研究问题

• RQ1 是否能够设计一种加速的去中心化优化方法，在不限制拓扑变化次数的前提下，实现在时变网络中的最优通信复杂度？
• RQ2 在动态通信图的去中心化设置中，对偶预言机如何实现更快的收敛？
• RQ3 在时变环境下，保证加速方法线性收敛所需的网络结构假设是什么？
• RQ4 在保持计算可处理性的前提下，能否在时变网络中保持加速方法的收敛速率？
• RQ5 在条件数和网络结构参数变化时，ADOM 与现有加速方法（如 Acc-DNGD 和 APM）在实际性能上如何比较？

主要发现

• ADOM 实现了 $\mathcal{O}(\chi\kappa^{1/2}\log \frac{1}{\varepsilon})$ 的通信复杂度，与静态全连接情况下的 Nesterov 加速方法速率一致。
• 与先前方法如 DNM 不同，只要网络保持连通，ADOM 即使在拓扑频繁变化时也能保持稳定和收敛。
• 在实验中，ADOM 在各种条件数 $\kappa \in \{10, 10^2, 10^3, 10^4\}$ 和网络结构参数 $\chi \in \{9, 32, 134, 521\}$ 下，均优于 Mudag、Acc-DNGD 和 APM。
• ADOM 在所有测试场景中均能可靠收敛，而 DNM 在 8 种情况中的 7 种出现发散，原因在于其对网络变化次数的严格假设。
• 仅使用 $T=1$ 到 $3$ 次 AGD 迭代来近似对偶梯度，即可获得接近最优的性能，证明了其实际效率。
• APM 在后期表现出次线性收敛，通信复杂度呈 $\log^2 \frac{1}{\varepsilon}$ 规模增长，因此在高精度任务中效率低于 ADOM。