[论文解读] Distributed Zero-Order Algorithms for Nonconvex Multi-Agent Optimization

Yujie Tang, Junshan Zhang+1 more|arXiv (Cornell University)|Aug 29, 2019

Distributed Control Multi-Agent Systems参考文献 43被引用 7

一句话总结

本文提出了两种用于非凸多智能体优化的分布式零阶算法：一种使用两点梯度估计器结合分布式梯度下降（DGD），另一种使用两点估计器结合梯度追踪。关键贡献在于建立了改进的收敛速率——具体而言，两点法的收敛速率为 $ O(d/m) $，两点估计法的收敛速率为 $ O\big((1 - c(1-\rho^2)^2(\frac{\mu}{L})^{4/3})^{m/d}\big) $，在非凸光滑且梯度主导的设定下，其收敛速度优于以往的分布式零阶方法。

ABSTRACT

Distributed multi-agent optimization finds many applications in distributed learning, control, estimation, etc. Most existing algorithms assume knowledge of first-order information of the objective and have been analyzed for convex problems. However, there are situations where the objective is nonconvex, and one can only evaluate the function values at finitely many points. In this paper we consider derivative-free distributed algorithms for nonconvex multi-agent optimization, based on recent progress in zero-order optimization. We develop two algorithms for different settings, provide detailed analysis of their convergence behavior, and compare them with existing centralized zero-order algorithms and gradient-based distributed algorithms.

研究动机与目标

• 解决在梯度信息不可用、仅依赖函数值查询的非凸多智能体优化问题。
• 设计收敛速度优于现有方法的分布式零阶算法，适用于非凸设定。
• 在光滑且梯度主导的目标函数下分析收敛速率，为分布式零阶优化提供理论保证。
• 比较分布式零阶方法在高维可扩展性与收敛速度之间的权衡。
• 证明即使在非凸问题中，结合零阶估计的梯度追踪也能提升收敛性能，超越标准DGD方法。

提出的方法

• 提出算法1，采用两点梯度估计器结合分布式梯度下降（DGD），每轮迭代仅需2次函数评估。
• 提出算法2，结合两点估计器与梯度追踪，以提升收敛速度。
• 采用基于一致性更新规则，每个智能体通过梯度追踪维护全局梯度的本地估计。
• 使用随机梯度估计器 $ \tilde{g}^i(t) = \frac{1}{2u} \big( f^i(x^i(t-1) + u z^i(t)) - f^i(x^i(t-1) - u z^i(t)) \big) $，其中 $ z^i(t) \sim \mathcal{U}(\mathbb{S}_{d-1}) $。
• 采用依赖于网络连通性 $ \rho $ 的步长规则，该规则源自懒惰梅特罗波利斯矩阵，以确保收敛性。
• 分析两点估计器的方差，表明其在 $ u \to 0 $ 时仍保持有界，为 $ (d-1)\|\nabla f(x)\|^2 $，从而影响收敛速度。

实验结果

研究问题

• RQ1 在非凸设定下，分布式零阶优化能否实现比一阶方法或以往零阶方法更快的收敛速度？
• RQ2 在高维问题中，两点与两点估计法的选择如何影响收敛速度与可扩展性？
• RQ3 在非凸目标函数下，梯度追踪对分布式零阶优化的收敛性有何影响？
• RQ4 网络连通性 $ \rho $ 如何影响分布式零阶算法的收敛速率与步长选择？
• RQ5 在分布式非凸优化中，零阶方法的收敛速率能否与一阶方法相当或趋近？

主要发现

• 采用两点梯度估计的算法1在光滑非凸目标下实现 $ O\big(\sqrt{\frac{d}{m}} \log m\big) $ 的收敛速率，其中 $ m $ 为函数查询次数。
• 采用两点估计与梯度追踪的算法2实现更快的收敛速率 $ O\big(\big[1 - c(1 - \rho^2)^2(\frac{\mu}{L})^{4/3}\big]^{m/d}\big) $，表现出更优的渐近收敛性能。
• 两点估计法的收敛速率依赖于 $ \mu/L $，其依赖关系优于以往的凸方法，归因于对梯度追踪的精细化分析。
• 两点法因每轮仅需2次函数评估，在高维场景下更具可扩展性，尽管收敛速度较慢。
• 两点估计法虽渐近收敛更快，但每轮计算开销更高，因此更适合低维问题。
• 理论分析表明，两点估计器的方差在驻点处不会消失，除非使用梯度追踪，否则将限制收敛速度。