[论文解读] Fault-Tolerant Multi-Agent Optimization: Part III

Lili Su, Nitin H. Vaidya|arXiv (Cornell University)|Sep 6, 2015

Optimization and Search Problems参考文献 19被引用 8

一句话总结

本文提出了一种容错的分布式优化算法，适用于多智能体系统在崩溃故障和拜占庭故障下的场景，采用基于迭代一致性的更新机制，结合本地计算与每轮仅一次消息交换。即使最多有 f 个智能体失效，该算法仍能收敛至近似全局最优解，并对两种故障模型均提供了权重分配与误差边界的保证。

ABSTRACT

We study fault-tolerant distributed optimization of a sum of convex (cost) functions with real-valued scalar input/output in the presence of crash faults or Byzantine faults. In particular, the goal is to optimize a global cost function $\frac{1}{n}\sum_{i\in \mathcal{V}} h_i(x)$, where $\mathcal{V}=\{1, \ldots, n\}$ is the collection of agents, and $h_i(x)$ is agent $i$'s local cost function, which is initially known only to agent $i$. Since the above global cost function cannot be optimized exactly in presence of crash faults or Byzantine faults, we define two weaker versions of the problem for crash faults and Byzantine faults, respectively. When some agents may crash, the goal for the weaker problem is to generate an output that is an optimum of a function formed as $$C(\sum_{i\in \mathcal{N}} h_i(x)+\sum_{i\in \mathcal{F}} α_i h_i(x)),$$ where $\mathcal{N}$ is the set of non-faulty agents, $\mathcal{F}$ is the set of faulty agents (crashed agents), $0\le α_i\le 1$ for each $i\in \mathcal{F}$ and $C$ is a normalization constant such that $C(|\mathcal{N}|+\sum_{i\in \mathcal{F}} α_i)=1$. We present an iterative algorithm in which each agent only needs to perform local computation, and send one message per iteration. When some agents may be Byzantine, the system cannot take full advantage of the data kept by non-faulty agents. The goal for the associated weaker problem is to generate an output that is an optimum of a function formed as $$\sum_{i\in \mathcal{N}}α_i h_i(x),$$ such that $α_i\geq 0$ for each $i\in \mathcal{N}$ and $\sum_{i\in \mathcal{N}}α_i=1$. We present an iterative algorithm, where only local computation is needed and only one message per agent is sent in each iteration, that ensures that at least $|\mathcal{N}|-f$ agents have weights ($α_i$'s) that are lower bounded by $\frac{1}{2(|\mathcal{N}|-f)}$.

研究动机与目标

• 解决多智能体系统中最多 f 个智能体崩溃或行为恶意时的分布式凸优化挑战。
• 为崩溃故障和拜占庭故障制定更弱的优化问题，由于故障智能体的存在，精确的全局优化无法实现。
• 通过为非故障智能体的本地代价函数分配合适的权重，确保收敛至接近真实全局最优的解。
• 设计轻量级、迭代式的算法，仅需本地计算和每轮每个智能体一次消息交换。
• 将结果推广至异步系统，证明在对拜占庭容错放宽假设的前提下仍具可行性。

提出的方法

• 提出将本地代价函数的加权平均作为目标优化函数，其中非故障智能体获得更高权重，故障智能体的贡献由系数 αi ∈ [0,1] 有界控制。
• 采用迭代算法，每个智能体计算其本地梯度，发送其当前估计值与梯度，并基于接收到的值的平均值更新自身状态。
• 引入归一化常数 C，以确保加权函数和构成有效的概率加权平均，从而保持凸性与收敛性。
• 利用梯度的利普希茨连续性及有界导数大小（L）来限制误差在迭代过程中的传播。
• 通过在梯度和估计值上达成一致，引入机制以检测并排除或降低故障智能体消息的影响。
• 通过修改消息接收逻辑以处理可变延迟，将算法适配至异步系统，确保在慢速或崩溃智能体存在时仍能推进。

实验结果

研究问题

• RQ1 在保持收敛至全局最优有意义近似解的前提下，能否使多智能体分布式优化对崩溃故障具备鲁棒性？
• RQ2 当智能体可能发送任意或恶意数据时，如何在分布式优化中处理拜占庭故障？
• RQ3 在最多 f 个智能体故障的情况下，确保容错所需的最小系统规模（n > 3f）是多少？
• RQ4 仅每轮每个智能体交换一次消息的迭代算法，能否在故障模型下实现收敛？
• RQ5 分配给非故障智能体的权重如何演化？在故障存在时，可保证的下限是什么？

主要发现

• 对于崩溃故障，算法确保最终解中至少 |N| − f 个智能体的权重 αi ≥ 1/(2(|N| − f))，为非故障智能体的影响力提供了下界。
• 该算法在 β = 1/n 与 γ = n − f 的条件下求解问题 2，意味着最终目标函数中至少 n − f 个智能体的权重不低于 1/n。
• 在拜占庭故障存在时，算法保证至少 |N| − 2f 个智能体的权重 αi ≥ 1/(2(|N| − f))，确保对恶意行为的鲁棒性。
• 在局部代价函数为凸、连续可微且梯度 L-利普希茨连续的假设下，证明了收敛性。
• 结果可扩展至异步系统，但问题 1（崩溃故障）不可解，因慢速智能体可能被误判为崩溃。
• 即使最多 f 个智能体故障，该算法仍保持稳定与收敛，误差界依赖于梯度利普希茨常数 L 与估计值的范围。