[论文解读] Distributed Optimization Based on Gradient-tracking Revisited: Enhancing Convergence Rate via Surrogation

Ying Sun, Amir Daneshmand+1 more|arXiv (Cornell University)|May 7, 2019

Distributed Control Multi-Agent Systems被引用 4

一句话总结

该论文提出了一种新型分布式优化算法 Surrogate-SONATA，通过使用高阶代理函数而非标准的一阶方法，提升了多智能体系统中的收敛速度。通过结合扰动推送求和一致性机制的梯度追踪，并利用智能体局部损失之间的统计相似性，该方法在不交换海森矩阵的前提下，实现了对条件数和网络连通性依赖更优的线性收敛，优于传统方案。

ABSTRACT

We study distributed multiagent optimization over (directed, time-varying) graphs. We consider the minimization of $F+G$ subject to convex constraints, where $F$ is the smooth strongly convex sum of the agent's losses and $G$ is a nonsmooth convex function. We build on the SONATA algorithm: the algorithm employs the use of surrogate objective functions in the agents' subproblems (going thus beyond linearization, such as proximal-gradient) coupled with a perturbed (push-sum) consensus mechanism that aims to track locally the gradient of $F$. SONATA achieves precision $ε>0$ on the objective value in $\mathcal{O}(κ_g \log(1/ε))$ gradient computations at each node and $ ilde{\mathcal{O}}\big(κ_g (1-ρ)^{-1/2} \log(1/ε)\big)$ communication steps, where $κ_g$ is the condition number of $F$ and $ρ$ characterizes the connectivity of the network. This is the first linear rate result for distributed composite optimization; it also improves on existing (non-accelerated) schemes just minimizing $F$, whose rate depends on much larger quantities than $κ_g$ (e.g., the worst-case condition number among the agents). When considering in particular empirical risk minimization problems with statistically similar data across the agents, SONATA employing high-order surrogates achieves precision $ε>0$ in $\mathcal{O}\big((β/μ) \log(1/ε)\big)$ iterations and $ ilde{\mathcal{O}}\big((β/μ) (1-ρ)^{-1/2} \log(1/ε)\big)$ communication steps, where $β$ measures the degree of similarity of the agents' losses and $μ$ is the strong convexity constant of $F$. Therefore, when $β/μ< κ_g$, the use of high-order surrogates yields provably faster rates than what achievable by first-order models; this is without exchanging any Hessian matrix over the network.

研究动机与目标

• 为时间变、有向通信图的多智能体系统设计通信高效的分布式优化算法。
• 在分布式复合优化中提升收敛速度——即最小化平滑强凸函数之和与一个非平滑凸正则项的和——超越现有的一阶方法。
• 利用智能体局部损失函数之间的统计相似性（例如在独立同分布数据设置下）实现更快收敛，且无需交换海森矩阵。
• 设计一种基于梯度追踪的算法，实现对网络连通性与问题条件数依赖更优的线性收敛。

提出的方法

• 该算法在智能体子问题中使用代理函数，替代标准线性化（如邻近梯度法），从而实现对局部损失函数的更高阶逼近。
• 采用扰动推送求和一致性机制来追踪平滑分量 $ F $ 的全局梯度，确保网络中梯度估计的准确性。
• 提出一种新颖的分析框架，将收敛速率边界表示为 $ F $ 的条件数 $ \kappa_g $、强凸常数 $ \mu $ 和局部损失相似性度量 $ \beta $ 的函数。
• 通过仔细平衡步长 $ \alpha $、网络连通性 $ \rho $ 和代理逼近质量，实现线性收敛，且收敛速率在相似数据场景下依赖于 $ \beta/\mu $。
• 该算法专为有向且时变的图设计，确保对网络动态的鲁棒性，同时保持收敛保证。
• 理论分析表明，一般情况下收敛需 $ \mathcal{O}(\kappa_g \log(1/\epsilon)) $ 次梯度计算和 $ \tilde{\mathcal{O}}(\kappa_g (1-\rho)^{-1/2} \log(1/\epsilon)) $ 次通信步骤；当 $ \beta/\mu < \kappa_g $ 时，收敛速率进一步提升。

实验结果

研究问题

• RQ1 在不传输海森矩阵的前提下，分布式优化中的代理函数能否使收敛速度超越一阶方法？
• RQ2 智能体局部损失之间的统计相似性如何影响分布式优化算法的收敛速度？
• RQ3 在有向、时变网络中，结合扰动推送求和一致性的梯度追踪能否实现复合优化问题的线性收敛？
• RQ4 收敛速率对条件数 $ \kappa_g $、网络连通性 $ \rho $ 和损失相似性 $ \beta $ 的依赖关系如何？
• RQ5 当 $ \beta/\mu < \kappa_g $ 时，即使不交换海森矩阵，是否仍能实现比一阶方法更快的收敛？

主要发现

• 所提出的 Surrogate-SONATA 算法在一般设置下实现线性收敛，需 $ \mathcal{O}(\kappa_g \log(1/\epsilon)) $ 次梯度计算和 $ \tilde{\mathcal{O}}(\kappa_g (1-\rho)^{-1/2} \log(1/\epsilon)) $ 次通信步骤。
• 在具有统计相似性的经验风险最小化中，该方法在 $ \mathcal{O}((\beta/\mu) \log(1/\epsilon)) $ 次迭代和 $ \tilde{\mathcal{O}}((\beta/\mu)(1-\rho)^{-1/2} \log(1/\epsilon)) $ 次通信步骤内收敛。
• 当 $ \beta/\mu < \kappa_g $ 时，使用高阶代理函数可严格证明比一阶方法收敛更快，即使不交换海森矩阵。
• 收敛速率受界于 $ z \leq 1 - c(1-\sqrt{c})^2 \cdot \text{const} \cdot (1-\rho)^2 / (\kappa_g^2 \rho) $，表明对网络连通性 $ \rho $ 的依赖得到改善。
• 该算法是首个实现分布式复合优化线性收敛的算法，其收敛速率仅依赖于 $ \kappa_g $，而不依赖于最差情况下的智能体条件数。
• 理论分析证实，通过改进对扰动推送求和机制和代理逼近误差的分析，该方法在有向、时变图上仍能保持线性收敛。