[论文解读] Improved Convergence Rates for Distributed Resource Allocation

Angelia Nedić, Alex Olshevsky+1 more|arXiv (Cornell University)|Jun 16, 2017

Distributed Control Multi-Agent Systems参考文献 24被引用 28

一句话总结

该论文提出了一类新型分布式算法，用于网络中代理的凸资源分配问题，利用一致性优化的联系。通过采用针对网络拓扑设计的步长和网络感知的参数调节，该方法在一般凸函数下实现了改进的收敛速率，即 o(1/k)，在强凸且光滑的目标函数下实现了 R-线性收敛。

ABSTRACT

In this paper, we develop a class of decentralized algorithms for solving a convex resource allocation problem in a network of $n$ agents, where the agent objectives are decoupled while the resource constraints are coupled. The agents communicate over a connected undirected graph, and they want to collaboratively determine a solution to the overall network problem, while each agent only communicates with its neighbors. We first study the connection between the decentralized resource allocation problem and the decentralized consensus optimization problem. Then, using a class of algorithms for solving consensus optimization problems, we propose a novel class of decentralized schemes for solving resource allocation problems in a distributed manner. Specifically, we first propose an algorithm for solving the resource allocation problem with an $o(1/k)$ convergence rate guarantee when the agents' objective functions are generally convex (could be nondifferentiable) and per agent local convex constraints are allowed; We then propose a gradient-based algorithm for solving the resource allocation problem when per agent local constraints are absent and show that such scheme can achieve geometric rate when the objective functions are strongly convex and have Lipschitz continuous gradients. We have also provided scalability/network dependency analysis. Based on these two algorithms, we have further proposed a gradient projection-based algorithm which can handle smooth objective and simple constraints more efficiently. Numerical experiments demonstrates the viability and performance of all the proposed algorithms.

研究动机与目标

• 解决在代理具有私有目标函数和耦合约束的网络中去中心化资源分配的挑战。
• 设计无需中心协调器的分布式算法以确保收敛。
• 在非光滑和强凸问题中，改进现有方法的收敛速率。
• 分析所提算法的可扩展性和网络依赖性。
• 设计高效变体，利用梯度投影方法处理光滑目标函数和简单约束。

提出的方法

• 将资源分配问题表述为一致性优化问题，以利用已知的收敛性保证。
• 提出 Mirror-P-EXTRA 算法，一种基于一致性更新规则的原始-对偶算法，其步长根据网络拓扑进行调节。
• 引入 Mirror-PG-EXTRA 作为计算成本更低的变体，利用梯度投影以降低每次迭代的计算开销。
• 通过李雅普诺夫分析建立收敛速率，其中常数依赖于网络特性，包括拉普拉斯矩阵的次小特征值。
• 采用一种参数调节策略，综合考虑本地代理数据和全局网络结构，以提升收敛速度。
• 在时变有向图上通过 Mirror-Push-DIGing 验证算法，证明其在动态通信拓扑下的鲁棒性。

实验结果

研究问题

• RQ1 去中心化算法能否在资源分配中实现一般凸目标函数（可能不可微）的 o(1/k) 收敛？
• RQ2 当目标函数为强凸且梯度为Lipschitz连续时，能否在分布式资源分配中实现几何（R-线性）收敛？
• RQ3 网络拓扑，特别是拉普拉斯矩阵的次小特征值，如何影响分布式算法的收敛速率？
• RQ4 在分布式优化中，通信成本与本地计算之间的权衡是什么，如何实现优化？
• RQ5 所提算法能否扩展到时变和有向通信图，同时保持收敛性保证？

主要发现

• 所提出的 Mirror-P-EXTRA 算法在具有局部约束的一般凸目标函数（可能不可微）下实现了 o(1/k) 的收敛速率。
• 对于具有Lipschitz连续梯度且无局部约束的强凸目标函数，该算法实现了 R-线性（几何）收敛。
• Mirror-PG-EXTRA 变体在降低每次迭代计算量的同时保持了良好的性能，适用于大规模网络。
• 数值实验表明，尽管每次迭代成本较高，Mirror-P-EXTRA 在迭代次数方面优于其他算法。
• 在时变有向图上，算法依然有效，如 Mirror-Push-DIGing 所示，其通过手动调节步长保持了收敛性。
• 可扩展性分析表明，收敛速率依赖于网络连通性，λ₂⁻¹ 在最坏情况下按 O(n⁴) 规模增长，但通过优化通信概率可实现更优性能。