[论文解读] Byzantine Multi-Agent Optimization: Part II

Lili Su, Nitin H. Vaidya|arXiv (Cornell University)|Jul 7, 2015

Optimization and Search Problems参考文献 30被引用 33

一句话总结

本文提出了一种基于条件的拜占庭多智能体优化框架，用于在任意有向图上进行分布式凸优化，其中智能体在最多 f 个拜占庭故障的情况下仍能就 k 个输入函数的平均值达成一致。该框架引入了两种算法：一种基于解码的方法，利用辅助信息处理光滑函数；另一种轻量级基于一致性的方法，无需辅助信息，适用于非光滑函数，两者在冗余性假设下均能收敛至真实平均最优解。

ABSTRACT

In Part I of this report, we introduced a Byzantine fault-tolerant distributed optimization problem whose goal is to optimize a sum of convex (cost) functions with real-valued scalar input/ouput. In this second part, we introduce a condition-based variant of the original problem over arbitrary directed graphs. Specifically, for a given collection of $k$ input functions $h_1(x), \ldots, h_k(x)$, we consider the scenario when the local cost function stored at agent $j$, denoted by $g_j(x)$, is formed as a convex combination of the $k$ input functions $h_1(x), \ldots, h_k(x)$. The goal of this condition-based problem is to generate an output that is an optimum of $\frac{1}{k}\sum_{i=1}^k h_i(x)$. Depending on the availability of side information at each agent, two slightly different variants are considered. We show that for a given graph, the problem can indeed be solved despite the presence of faulty agents. In particular, even in the absence of side information at each agent, when adequate redundancy is available in the optima of input functions, a distributed algorithm is proposed in which each agent carries minimal state across iterations.

研究动机与目标

• 解决在任意有向图上分布式多智能体优化中的拜占庭故障容错问题。
• 使非故障智能体能够在存在最多 f 个拜占庭智能体的情况下，收敛至 k 个输入凸函数平均值的最小化点。
• 设计轻量级、容错的算法，状态和计算量最小化，尤其在缺乏辅助信息时。
• 建立问题可解的条件，特别是当输入函数具有共同最优点或具备足够冗余性时。
• 比较基于解码与基于一致性的方法在内存、计算量以及对光滑与非光滑函数适用性方面的权衡。

提出的方法

• 将问题形式化为一种基于条件的优化，其中每个智能体的局部代价是 k 个输入函数的凸组合，使用作业分配矩阵 A。
• 提出一种基于解码的算法，结合梯度下降与利用生成矩阵的解码过程，假设输入函数可微且智能体具备辅助信息。
• 提出一种基于一致性的算法，无需辅助信息，每个智能体状态最少，且在每次迭代中无需解码，适用于非光滑函数。
• 采用动态一致性更新规则，智能体迭代地平均估计值并应用梯度步长，确保在图连通性和冗余性条件下收敛。
• 使用递减步长 α(t)，满足 ∑α²(t) < ∞ 以确保收敛，并通过类似李雅普诺夫的分析证明估计误差有界。
• 依赖于条件1（图结构）和 A 的稀疏性（sp(A) = k′），以保证足够多的非故障智能体对平均函数有显著贡献。

实验结果

研究问题

• RQ1 当智能体仅存储输入函数的凸组合时，是否可以在任意有向图中解决拜占庭多智能体优化问题？
• RQ2 在存在拜占庭故障的情况下，非故障智能体在何种条件下能收敛至 k 个输入函数平均值的最小化点？
• RQ3 辅助信息的可用性如何影响拜占庭鲁棒分布式优化算法的设计与性能？
• RQ4 一种轻量级基于一致性的算法是否能在无解码或辅助信息的情况下实现收敛？其适用于哪些函数类别？
• RQ5 在拜占庭鲁棒分布式优化中，计算复杂度、内存使用与函数光滑性之间存在何种权衡？

主要发现

• 基于一致性的算法即使在无辅助信息时，也能收敛至真实平均最优解，前提是所有输入函数至少有一个共同最小值点。
• 基于解码的算法在输入函数可微且具备辅助信息时，能确保收敛至平均最优解，通过使用合适的生成矩阵实现解码。
• 基于一致性的算法对每个智能体所需状态最少，且避免在每次迭代中进行解码，从而降低内存与计算开销。
• 该算法保证了局部估计的极限位于平均函数 h(x) = (1/k)∑hᵢ(x) 的最小值集合中，前提是存在共同最优点。
• 通过估计误差有界性与梯度相关项的可 summability 性，证明了收敛性，依赖于 ∑α²(t) < ∞ 及关键子集中智能体重量的正下界。
• 在图结构条件（条件1）和作业分配矩阵 A 的结构假设下，问题可解，确保非故障智能体贡献的冗余性足够。