[论文解读] Distributed Mirror Descent over Directed Graphs

Chenguang Xi, Qiong Wu+1 more|arXiv (Cornell University)|Dec 16, 2014

Distributed Control Multi-Agent Systems参考文献 36被引用 14

一句话总结

该论文提出了一种名为分布式镜像下降（Distributed Mirror Descent, DMD）的新算法，用于在有向多智能体网络上进行约束凸优化，其中每个智能体使用本地设计的Bregman距离函数，而非全局的欧几里得距离。该方法在行随机权重矩阵下确保收敛，将先前工作推广至有向图，并在无法构造双随机矩阵时仍能实现收敛。

ABSTRACT

In this paper, we propose Distributed Mirror Descent (DMD) algorithm for constrained convex optimization problems on a (strongly-)connected multi-agent network. We assume that each agent has a private objective function and a constraint set. The proposed DMD algorithm employs a locally designed Bregman distance function at each agent, and thus can be viewed as a generalization of the well-known Distributed Projected Subgradient (DPS) methods, which use identical Euclidean distances at the agents. At each iteration of the DMD, each agent optimizes its own objective adjusted with the Bregman distance function while exchanging state information with its neighbors. To further generalize DMD, we consider the case where the agent communication follows a \emph{directed} graph and it may not be possible to design doubly-stochastic weight matrices. In other words, we restrict the corresponding weight matrices to be row-stochastic instead of doubly-stochastic. We study the convergence of DMD in two cases: (i) when the constraint sets at the agents are the same; and, (ii) when the constraint sets at the agents are different. By partially following the spirit of our proof, it can be shown that a class of consensus-based distributed optimization algorithms, restricted to doubly-stochastic matrices, remain convergent with stochastic matrices.

研究动机与目标

• 解决智能体通过有向图通信的多智能体系统中的约束凸优化问题。
• 通过允许每个智能体使用特定的Bregman距离函数，推广现有的分布式投影次梯度方法。
• 在无法构建双随机权重矩阵的有向网络中实现收敛。
• 分析当智能体具有相同与不同约束集时的收敛性。
• 证明基于一致性（consensus-based）的算法在使用随机矩阵时仍能保持收敛性。

提出的方法

• 每个智能体维护一个本地目标函数和约束集，并使用本地定义的Bregman散度来指导其更新。
• 算法通过使用智能体特定的Bregman函数执行镜像下降步骤，进行迭代本地优化。
• 智能体使用行随机权重矩阵与邻居交换状态信息，避免对双随机矩阵的需求。
• 该方法通过将欧几里得距离替换为任意Bregman散度，推广了标准的分布式投影次梯度（DPS）方法。
• 在两种设定下分析收敛性：所有智能体具有相同的约束集，以及不同智能体具有不同的约束集。
• 证明技术可扩展至表明基于一致性的算法在使用随机矩阵时仍保持收敛。

实验结果

研究问题

• RQ1 当无法使用双随机权重时，镜像下降能否扩展至有向图？
• RQ2 使用智能体特定的Bregman距离如何影响分布式优化中的收敛性？
• RQ3 在智能体具有不同约束集时，何种条件可确保收敛？
• RQ4 当使用行随机矩阵而非双随机矩阵时，能否保持基于一致性的算法的收敛性？
• RQ5 Bregman散度在实现有向网络上的分布式优化中起到何种作用？

主要发现

• 当所有智能体共享相同约束集时，DMD算法即使在有向通信图下也能收敛至最优解。
• 当智能体具有不同约束集时，只要对网络和目标函数施加适当的假设，也能建立收敛性。
• 使用本地设计的Bregman距离推广了标准DPS方法，后者依赖于相同的欧几里得距离。
• 当使用行随机权重矩阵时，该方法仍能保持收敛，这是对先前工作的重要改进，因为先前工作要求使用双随机矩阵。
• 理论框架支持在随机权重下更广泛的一类基于一致性的分布式算法的收敛性。
• 证明结构可被调整，以表明现有算法在受限于随机矩阵时仍能收敛，从而扩展了其适用范围。