[论文解读] Distributed Optimization of Nonconvex Functions over Time-Varying Graphs

Bryan Van Scoy, Laurent Lessard|arXiv (Cornell University)|May 28, 2019

Distributed Control Multi-Agent Systems参考文献 6被引用 4

一句话总结

该论文提出了一种新型分布式优化算法，用于在时变有向图上最小化非凸局部函数的平均值。通过动态平衡通信与计算，该算法实现了与集中式梯度下降相当的收敛速率，并通过一个分布式目标定位案例研究得到验证。

ABSTRACT

We consider the distributed optimization problem where a group of agents seeks to cooperatively compute the optimizer of the average of local functions over a time-varying directed communication network. To solve this problem, we propose a novel algorithm which adjusts the ratio between the number of communications and computations to achieve fast convergence. In particular, the iterates of our algorithm converge to the optimizer at the same rate as those of centralized gradient descent in terms of the number of computations. We compare our algorithm with other known algorithms on a distributed target localization problem.

研究动机与目标

• 解决在动态、时变有向网络中非凸函数的分布式优化问题，其中各 agent 协作以最小化其局部函数的平均值。
• 设计一种算法，其计算收敛速率与集中式梯度下降相当，同时适应通信约束。
• 通过调整通信与计算步长的比例，提升分布式环境下的效率。
• 在真实世界的分布式目标定位问题上验证算法性能。

提出的方法

• 该算法采用通信与计算步长之间的动态调节机制，以优化收敛速度。
• 其在时变有向图上运行，支持灵活且现实的网络拓扑结构。
• 该方法确保迭代序列的收敛速率与集中式梯度下降在计算次数上的收敛速率一致。
• 算法利用局部梯度信息和基于一致性更新的方式，在网络中协调各 agent。
• 在非凸性假设下进行收敛性分析，将结果拓展至非凸设置之外。

实验结果

研究问题

• RQ1 在非凸函数场景下，分布式算法是否能在计算量上实现与集中式梯度下降相同的收敛速率？
• RQ2 在时变网络中，动态平衡通信与计算对收敛速度有何影响？
• RQ3 通过自适应调整通信-计算比例，在分布式非凸优化中可获得哪些性能提升？
• RQ4 该算法在实际分布式目标定位任务中表现如何？

主要发现

• 所提出的算法在计算次数方面实现了与集中式梯度下降相当的收敛速率。
• 该算法即使在时变有向通信图上也能保持快速收敛，这类图比静态或无向图更具挑战性。
• 通信与计算的动态调节相比固定比例方法显著提升了效率。
• 在分布式目标定位问题上的实证评估表明，该算法在收敛速度和精度方面优于现有方法。