[论文解读] Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks

Dmitry Kovalev, Elnur Gasanov+2 more|arXiv (Cornell University)|Jun 8, 2021

Distributed Control Multi-Agent Systems被引用 8

一句话总结

本文建立了时间变网络上去中心化光滑强凸优化在通信和本地计算复杂度方面的首个下界。提出了两种最优算法——基于多一致性（对偶梯度）的ADOM与基于原始梯度的ADOM+，二者均匹配这些下界，在$\mathcal{O}(\kappa^{1/2}\log(1/\epsilon))$次本地计算和$\mathcal{O}(\chi\kappa^{1/2}\log(1/\epsilon))$轮通信中实现$\epsilon$-精度，其中$\kappa$为条件数，$\chi$为网络连通性参数。

ABSTRACT

We consider the task of minimizing the sum of smooth and strongly convex functions stored in a decentralized manner across the nodes of a communication network whose links are allowed to change in time. We solve two fundamental problems for this task. First, we establish the first lower bounds on the number of decentralized communication rounds and the number of local computations required to find an $\\epsilon$-accurate solution. Second, we design two optimal algorithms that attain these lower bounds: (i) a variant of the recently proposed algorithm ADOM (Kovalev et al., 2021) enhanced via a multi-consensus subroutine, which is optimal in the case when access to the dual gradients is assumed, and (ii) a novel algorithm, called ADOM+, which is optimal in the case when access to the primal gradients is assumed. We corroborate the theoretical efficiency of these algorithms by performing an experimental comparison with existing state-of-the-art methods.

研究动机与目标

• 建立时间变网络上去中心化优化在通信与计算复杂度方面的基本极限。
• 弥合现有算法与光滑强凸函数理论下界之间的差距。
• 设计在原始与对偶梯度访问下均匹配所推导下界的最优算法。
• 通过数值实验验证所提方法的理论效率。

提出的方法

• 使用信息论论证与最坏情况问题实例构造，推导去中心化通信与本地计算复杂度的下界。
• 提出ADOM与多一致性，一种基于对偶梯度的算法，通过引入多一致性子程序，在对偶梯度访问下实现最优收敛。
• 提出ADOM+，一种新颖的基于原始梯度的算法，通过集成多一致性，实现在原始梯度访问下的最优性能。
• 采用精心选择参数的李雅普诺夫函数分析，证明线性收敛速率与下界一致。
• 利用原始-对偶公式化与变量变换，解耦并控制原始变量与对偶变量的收敛。
• 通过数值实验将ADOM与ADOM+与当前最优方法如APM-C和Acc-GT进行比较，验证性能。

实验结果

研究问题

• RQ1 在时间变网络上，实现光滑强凸去中心化优化的$\epsilon$-精度，所需的去中心化通信轮数的基本下界是什么？
• RQ2 在相同条件下，实现$\epsilon$-精度所需的最少本地计算次数是多少？
• RQ3 现有算法能否被改进以匹配这些理论下界？
• RQ4 是否存在一种基于原始梯度的算法，可在时间变网络中实现最优复杂度？
• RQ5 通过对算法进行增强，能否使基于对偶梯度的方法也达到最优？

主要发现

• 本文建立了时间变网络上去中心化光滑强凸优化在通信与本地计算复杂度方面的首个已知下界。
• 下界分别为$\mathcal{O}(\kappa^{1/2}\log(1/\epsilon))$（本地计算）与$\mathcal{O}(\chi\kappa^{1/2}\log(1/\epsilon))$（通信轮数）。
• ADOM与多一致性在对偶梯度访问下实现最优性能，匹配所推导的下界。
• ADOM+在原始梯度访问下实现最优性能，同样匹配理论下界。
• 所提算法在实践中可实现且具有竞争力，在实验中优于或匹配当前最优方法如APM-C与Acc-GT。
• 分析确认Acc-GT同样是最优的，因其复杂度与所推导下界一致。