[论文解读] Fault-Tolerant Distributed Optimization (Part IV): Constrained Optimization with Arbitrary Directed Networks

Lili Su, Nitin H. Vaidya|arXiv (Cornell University)|Nov 5, 2015

Distributed systems and fault tolerance参考文献 28被引用 18

一句话总结

本文提出了一种容错分布式优化算法，适用于具有任意有向网络的多智能体系统，在凸约束下支持崩溃故障和拜占庭故障。该方法通过有向图上的迭代一致性矩阵表示，将先前针对全连接网络的工作推广至有向图，实现对局部目标加权平均的收敛，且性能由参数 β 和 γ 有界。

ABSTRACT

We study the problem of constrained distributed optimization in multi-agent networks when some of the computing agents may be faulty. In this problem, the system goal is to have all the non-faulty agents collectively minimize a global objective given by weighted average of local cost functions, each of which is initially known to a non-faulty agent only. In particular, we are interested in the scenario when the computing agents are connected by an arbitrary directed communication network, some of the agents may suffer from crash faults or Byzantine faults, and the estimate of each agent is restricted to lie in a common constraint set. This problem finds its applications in social computing and distributed large-scale machine learning. The fault-tolerant multi-agent optimization problem was first formulated by Su and Vaidya, and is solved when the local functions are defined over the whole real line, and the networks are fully-connected. In this report, we consider arbitrary directed communication networks and focus on the scenario where, local estimates at the non-faulty agents are constrained, and only local communication and minimal memory carried across iterations are allowed. In particular, we generalize our previous results on fully-connected networks and unconstrained optimization to arbitrary directed networks and constrained optimization. As a byproduct, we provide a matrix representation for iterative approximate crash consensus. The matrix representation allows us to characterize the convergence rate for crash iterative consensus.

研究动机与目标

• 在具有任意有向通信网络的多智能体系统中，解决崩溃和拜占庭故障下的约束分布式优化问题。
• 将先前针对全连接网络的结果扩展到一般有向图，同时保持容错性和约束处理能力。
• 使用两个参数 β（权重阈值）和 γ（超过 β 的权重最小数量）表征系统性能，以定义全局目标的质量。
• 确保所有非故障智能体收敛到一个解，该解最小化局部代价函数的加权平均，即使在对抗性行为下亦成立。
• 提供一种用于迭代近似崩溃一致性的矩阵表示，以分析收敛速率和系统行为。

提出的方法

• 使用基于梯度的分布式算法，智能体通过邻居传入的消息迭代更新其本地估计。
• 应用投影算子 $ P_X $ 以强制执行约束，确保所有估计值保持在共同的凸集 $ X $ 内。
• 引入矩阵表示 $ \mathbf{\Psi}_{ik}(t) $ 以建模智能体状态的演化，从而实现对一致性收敛的分析。
• 基于入度和故障计数定义权重：$ a_j[t-1] = \frac{1}{\ell_j + 1} $，其中 $ \ell_j $ 为接收到的消息数。
• 使用递减步长 $ \lambda[t-1] $ 以确保在故障存在下的收敛性。
• 通过权重矩阵的左特征向量进行收敛性分析，特别是 $ \pi_k(t) $，其表示系统中长期影响力。

实验结果

研究问题

• RQ1 是否可以在同时存在崩溃和拜占庭故障的任意有向网络中实现容错分布式优化？
• RQ2 系统性能如何依赖于网络拓扑和故障分布，特别是 β 和 γ 参数？
• RQ3 能否使用迭代一致性的矩阵表示来表征崩溃故障场景下的收敛速率？
• RQ4 约束集对故障智能体存在下的收敛性和全局目标质量有何影响？
• RQ5 在有向网络中，可解的 γ 参数如何依赖于各智能体的入度和故障计数？

主要发现

• 所提出的算法 6 收敛至 $ \widetilde{\mathcal{A}}(\beta, \gamma) $ 中的函数，其中 $ \tilde{\beta} = \min\left\{ \frac{1}{\max_i(d_i^{-}+1 - \phi_i)}, \frac{1}{|\mathcal{N}|} \right\} $ 且 $ \tilde{\gamma} = \min_i(d_i^{-}+1 - \phi_i) $，$ \phi_i $ 表示故障传入邻居的数量。
• 迭代一致性的矩阵表示可精确刻画崩溃故障场景下的收敛速率，从而支持对长期行为的分析。
• 该算法确保所有非故障智能体收敛至一个共同的极限点 $ y[\bar{t}] $，其依赖于初始状态、梯度以及受故障影响的权重。
• 收敛极限为 $ \lim_{s\to\infty} \bar{\mathbf{x}}_i[\bar{t}+s] = \sum_k \pi_k(1)x_k[0] - \sum_r \lambda[r-1]\sum_k \pi_k(r+1)d_k[r-1] + \sum_r \sum_k \pi_k(r+1)e_k[r-1] $，表明其对影响力权重和故障动态的依赖性。
• 对于无向图，通过修改更新规则可实现精确平均最小化 $ \frac{1}{|\mathcal{N}|}\sum_{i\in\mathcal{N}} h_i(x) $，表明在对称性下性能更优。
• 算法 6 中可解的 γ 仅依赖于每个智能体的入度和故障计数，而不同于算法 1 依赖于源分量结构，表明其具有更高的可扩展性和拓扑感知性。