[论文解读] Distributed Subgradient Projection Algorithm over Directed Graphs

Chenguang Xi, Usman A. Khan|arXiv (Cornell University)|Feb 1, 2016

Distributed Control Multi-Agent Systems参考文献 27被引用 4

一句话总结

该论文提出了一种面向有向多智能体网络的有约束凸优化算法——定向分布式投影次梯度（D-DPS）算法，该算法通过智能体协作最小化局部凸函数之和，并受制于一个公共的凸集。通过引入盈余一致性（surplus consensus）来处理非对称通信，D-DPS 实现了 $O(\frac{\ln k}{\sqrt{k}})$ 的收敛速率，尽管存在有向通信约束，其性能仍与无向网络中已知的最佳收敛速率相当。

ABSTRACT

We propose a distributed algorithm, termed the Directed-Distributed Projected Subgradient (D-DPS), to solve a constrained optimization problem over a multi-agent network, where the goal of agents is to collectively minimize the sum of locally known convex functions. Each agent in the network owns only its local objective function, constrained to a commonly known convex set. We focus on the circumstance when communications between agents are described by a directed network. The D-DPS augments an additional variable for each agent, to overcome the asymmetry caused by the directed communication network. The convergence analysis shows that D-DPS converges at a rate of $O(\frac{\ln k}{\sqrt{k}})$, where k is the number of iterations.

研究动机与目标

• 解决在通信拓扑为有向图、信息流非对称的多智能体网络中的分布式有约束优化挑战。
• 克服现有算法依赖无向或平衡通信图假设的局限性。
• 设计一种在具有局部约束的有向强连通网络拓扑下仍能保持收敛性和效率的分布式算法。
• 在去中心化环境中确保收敛至最优解，同时保持计算简单性和可扩展性。
• 在存在有向通信复杂性的情况下，实现与无向网络算法相当的收敛速率。

提出的方法

• 提出 D-DPS 算法，一种专为具有局部约束的有向图设计的分布式投影次梯度方法。
• 引入盈余一致性，以构建行随机矩阵和列随机矩阵，从而实现非对称链路之间的信息交换。
• 采用递减步长 $\alpha_k = \frac{1}{\sqrt{k}}$，以确保收敛，同时平衡估计误差与方差。
• 维护状态估计 $\mathbf{x}_i^k$ 和辅助变量 $\mathbf{y}_i^k$，以追踪一致性并强制执行约束。
• 在每次迭代中应用投影 $\mathcal{P}_{\mathcal{X}}[\cdot]$，确保迭代点始终位于公共凸约束集 $\mathcal{X}$ 内部。
• 利用投影的非扩张性及矩阵的随机性，在强连通性和有向图假设下证明收敛性。

实验结果

研究问题

• RQ1 在通信非对称的有向网络中，分布式投影次梯度方法能否实现收敛？
• RQ2 在有向网络设置中引入约束是否会降低收敛速率，相较于无约束或无向情形？
• RQ3 盈余一致性是否能有效平衡有向通信中的非对称性，从而实现一致性与收敛？
• RQ4 在有向且有约束的网络中，确保收敛并保持快速收敛速率的最优步长策略是什么？
• RQ5 D-DPS 的收敛速率与 Subgradient-Push 和 Weight-Balancing Subgradient Descent 等现有算法相比，在有约束设置下如何？

主要发现

• D-DPS 算法在强连通有向图上收敛至有约束优化问题的最优解。
• D-DPS 的收敛速率为 $O(\frac{\ln k}{\sqrt{k}})$，与无向图上分布式投影次梯度方法的最优已知速率相当。
• 通过使用盈余一致性，成功构建了行随机矩阵与列随机矩阵，有效缓解了有向通信中的非对称性。
• 数值结果表明，D-DPS 实现了收敛，残差随时间减小，且各智能体状态间的不一致度趋近于零。
• 与 Subgradient-Push 和 Weight-Balancing Subgradient Descent（针对无约束问题）相比，D-DPS 展现出相当的收敛速度，但专为有约束问题设计。
• 最优步长策略 $\alpha_k = \frac{1}{\sqrt{k}}$ 能够实现最快收敛速率；若指数过大，则因违反持久性条件而导致非收敛。