[论文解读] Optimal Gradient Sliding and its Application to Distributed Optimization Under Similarity

Dmitry Kovalev, Aleksandr Beznosikov+3 more|arXiv (Cornell University)|May 30, 2022

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文提出了一种用于结构化凸优化的最优梯度滑动方法，其中目标函数为光滑但可能非凸的函数 $ p $ 与光滑且凸的函数 $ q $ 之和。通过在保持最优收敛速率的同时跳过 $ p $ 的梯度计算，该方法分别实现了 $ \mathcal{O}(\sqrt{L_p/\mu}) $ 和 $ \mathcal{O}(\sqrt{L_q/\mu}) $ 次对 $ p $ 和 $ q $ 的梯度调用，优于经典方法的 $ \mathcal{O}(\sqrt{(L_p+L_q)/\mu}) $。该方法被应用于函数相似性条件下的分布式优化，首次实现了最优通信复杂度与本地计算复杂度。

ABSTRACT

We study structured convex optimization problems, with additive objective $r:=p + q$, where $r$ is ($μ$-strongly) convex, $q$ is $L_q$-smooth and convex, and $p$ is $L_p$-smooth, possibly nonconvex. For such a class of problems, we proposed an inexact accelerated gradient sliding method that can skip the gradient computation for one of these components while still achieving optimal complexity of gradient calls of $p$ and $q$, that is, $\mathcal{O}(\sqrt{L_p/μ})$ and $\mathcal{O}(\sqrt{L_q/μ})$, respectively. This result is much sharper than the classic black-box complexity $\mathcal{O}(\sqrt{(L_p+L_q)/μ})$, especially when the difference between $L_q$ and $L_q$ is large. We then apply the proposed method to solve distributed optimization problems over master-worker architectures, under agents' function similarity, due to statistical data similarity or otherwise. The distributed algorithm achieves for the first time lower complexity bounds on {\it both} communication and local gradient calls, with the former having being a long-standing open problem. Finally the method is extended to distributed saddle-problems (under function similarity) by means of solving a class of variational inequalities, achieving lower communication and computation complexity bounds.

研究动机与目标

• 解决现有分布式优化方法无法同时实现最优通信复杂度与本地梯度复杂度的问题。
• 设计一种一阶算法，跳过某一成分（如 $ p $）的昂贵梯度计算，同时保持最优收敛速率。
• 利用分布式设置中函数的相似性（由于统计数据相似性或共享的海森矩阵结构），以减少通信开销。
• 弥合在函数相似性条件下分布式优化中理论下界与可实现复杂度之间的差距。
• 通过变分不等式求解器将该方法扩展至分布式鞍点问题，获得更优的复杂度界限。

提出的方法

• 将分布式问题重述为 $ \min_x r(x) = q(x) + p(x) $，其中 $ q $ 为凸且光滑（例如主节点端计算），$ p $ 为非凸但光滑（例如需要通信）。
• 引入一种非精确的加速梯度滑动方法，跳过对 $ p $ 的梯度评估，从而降低通信成本，同时保持最优收敛性。
• 采用基于动量的更新策略，结合自适应步长和类似对偶平均的结构，以平衡 $ p $ 和 $ q $ 上的进展。
• 利用各智能体间海森矩阵的相似性（即 $ \|\nabla^2 f_i(x) - \nabla^2 f_j(x)\| \leq \delta $）推导出更紧致的复杂度界限。
• 通过将问题转化为单调算子的变分不等式问题，将该方法应用于分布式鞍点问题。
• 通过李雅普诺夫函数分析建立收敛性，证明了原-对偶间隙的 $ \mathcal{O}(1/K) $ 收敛速率。

实验结果

研究问题

• RQ1 梯度滑动能否被优化，以在复合目标函数中对不同光滑性与凸性特性的分量分别实现最优复杂度？
• RQ2 当存在函数相似性时，能否使分布式优化的通信复杂度低于 $ \widetilde{\mathcal{O}}(\sqrt{\delta/\mu}) $？
• RQ3 在函数相似性条件下，是否可能同时实现最优通信复杂度与本地梯度复杂度？
• RQ4 所提方法能否扩展至具有更优复杂度边界的分布式鞍点问题？
• RQ5 在函数相似性条件下，分布式优化的通信与计算效率的理论极限是什么？

主要发现

• 所提方法分别实现了对 $ p $ 和 $ q $ 的 $ \mathcal{O}(\sqrt{L_p/\mu}) $ 和 $ \mathcal{O}(\sqrt{L_q/\mu}) $ 次梯度调用，优于经典黑箱复杂度 $ \mathcal{O}(\sqrt{(L_p+L_q)/\mu}) $，且严格更优。
• 在函数相似性条件下的分布式优化中，该方法首次实现了已知通信复杂度的下界，与已知下界仅相差对数因子。
• 该方法将本地梯度调用次数减少至 $ \mathcal{O}(\sqrt{\kappa}) $，实现了计算最优性，而此前方法为次优。
• 通过变分不等式求解器，该算法被扩展至分布式鞍点问题，实现了最优通信与计算复杂度。
• 数值实验验证了理论优势，显示在函数相似性条件下收敛更快且通信量更低。
• 该方法通过在函数相似性条件下同时实现最优通信与计算复杂度，建立了新的基准。