[论文解读] Byzantine Multi-Agent Optimization: Part I

Lili Su, Nitin H. Vaidya|arXiv (Cornell University)|Jun 15, 2015

Islamic Finance and Banking Studies被引用 19

一句话总结

本文研究了多智能体系统中拜占庭容错的分布式优化问题，其中最多有 f 个智能体可能表现出任意行为。提出了一种次优算法，确保在局部代价函数的凸组合中，至少 ⌈n/2⌉−ϕ 个非故障智能体的权重远离零，从而在存在拜占庭故障的情况下实现共识最优解。主要贡献在于对能够影响解的非故障智能体数量的紧致上界分析，并在合理假设下设计出与该界匹配的实用算法。

ABSTRACT

We study Byzantine fault-tolerant distributed optimization of a sum of convex (cost) functions with real-valued scalar input/ouput. In particular, the goal is to optimize a global cost function $\frac{1}{|\mathcal{N}|}\sum_{i\in \mathcal{N}} h_i(x)$, where $\mathcal{N}$ is the set of non-faulty agents, and $h_i(x)$ is agent $i$'s local cost function, which is initially known only to agent $i$. In general, when some of the agents may be Byzantine faulty, the above goal is unachievable, because the identity of the faulty agents is not necessarily known to the non-faulty agents, and the faulty agents may behave arbitrarily. Since the above global cost function cannot be optimized exactly in presence of Byzantine agents, we define a weaker version of the problem. The goal for the weaker problem is to generate an output that is an optimum of a function formed as a convex combination of local cost functions of the non-faulty agents. More precisely, for some choice of weights $α_i$ for $i\in \mathcal{N}$ such that $α_i\geq 0$ and $\sum_{i\in \mathcal{N}}α_i=1$, the output must be an optimum of the cost function $\sum_{i\in \mathcal{N}} α_ih_i(x)$. Ideally, we would like $α_i=\frac{1}{|\mathcal{N}|}$ for all $i\in \mathcal{N}$ -- however, this cannot be guaranteed due to the presence of faulty agents. In fact, we show that the maximum achievable number of nonzero weights ($α_i$'s) is $|\mathcal{N}|-f$, where $f$ is the upper bound on the number of Byzantine agents. In addition, we present algorithms that ensure that at least $|\mathcal{N}|-f$ agents have weights that are bounded away from 0. We also propose a low-complexity suboptimal algorithm, which ensures that at least $\lceil \frac{n}{2} ceil-ϕ$ agents have weights that are bounded away from 0, where $n$ is the total number of agents, and $ϕ$ ($ϕ\le f$) is the actual number of Byzantine agents.

研究动机与目标

• 解决多智能体系统中最多 f 个智能体为拜占庭故障且行为任意的分布式优化挑战。
• 定义一个较弱的优化问题，使其在拜占庭故障下仍可求解，因为精确最小化非故障智能体代价函数的平均值是不可能的。
• 最大化在凸组合中非平凡地影响全局解的非故障智能体数量。
• 设计一种低复杂度算法，保证在解中至少有最小数量的非故障智能体其权重远离零。
• 建立理论上最大可有意义包含于优化中的非故障智能体数量的上界，表明其最多为 |N|−f。

提出的方法

• 将问题重新表述为问题2，要求输出为凸组合 ∑ᵢ∈N αᵢhᵢ(x) 的最优解，其中 αᵢ ≥ 0 且 ∑ᵢ∈N αᵢ = 1。
• 提出一种新颖算法，采用基于中位数的方法来估计解，利用非故障智能体的值有界且一致的特性。
• 通过分析候选解处的次梯度符号，确保至少 ⌈n/2⌉−ϕ 个非故障智能体的权重远离零。
• 通过根据其值估计将智能体划分为集合：A(x̃) 表示次梯度和为正的智能体，B(x̃) 表示为负的，C(x̃) 表示为零的。
• 使用与这些集合大小成比例的权重以及一个平衡参数 ζ ∈ [0,1] 构造凸组合，确保满足次梯度条件。
• 分析证明，所得解是加权和的最优解，且至少有 ⌈n/2⌉−ϕ 个非故障智能体以不低于 1/(2|N|) 的下界权重参与。

实验结果

研究问题

• RQ1 在存在拜占庭故障的情况下，能否实现对非故障智能体代价函数平均值的精确优化？
• RQ2 在拜占庭容错的分布式优化环境中，最多有多少个非故障智能体能非平凡地影响解？
• RQ3 能否设计一种低复杂度算法，确保在拜占庭行为存在的情况下，大量非故障智能体仍能有意义地贡献于解？
• RQ4 即使故障智能体的身份未知，能否保证解是若干非故障智能体代价函数凸组合的最优解？
• RQ5 非故障智能体代价函数可被有意义地包含于解中的理论最小数量是多少？

主要发现

• 在凸组合中具有非零权重的非故障智能体的最大数量被限制在 |N|−f 以内，其中 f 是拜占庭智能体数量的上界。
• 所提出的算法确保至少 ⌈n/2⌉−ϕ 个非故障智能体的权重远离零，其中 ϕ 是实际的拜占庭智能体数量。
• 解被保证是凸组合 ∑ᵢ∈N αᵢhᵢ(x) 的最优解，其中 ∑ᵢ∈N αᵢ = 1 且 αᵢ ≥ 0。
• 该算法通过使用基于中位数的估计和次梯度符号分析，实现了较低的计算复杂度。
• 理论分析证明，即使故障智能体行为任意且具有对抗性，解仍是加权和的最优解。
• 该结果在条件 n > 3f 下成立，确保有足够的非故障智能体来主导共识过程。