[论文解读] Broadcast gossip averaging algorithms: interference and asymptotical error in large networks

Paolo Frasca, Fabio Fagnani|arXiv (Cornell University)|May 7, 2010

Distributed Control Multi-Agent Systems参考文献 19被引用 5

一句话总结

本文提出了一种新型的、具备抗干扰能力的广播gossip算法，用于大规模网络中的分布式平均计算，分析了其收敛速率和渐近误差。结果表明，在局部连接图上，该算法实现了渐近无偏估计且收敛迅速；而在完全图上，即使在网络规模增大时，偏差依然存在。

ABSTRACT

In this paper we study two related iterative randomized algorithms for distributed computation of averages. The first one is the recently proposed Broadcast Gossip Algorithm, in which at each iteration one randomly selected node broadcasts its own state to its neighbors. The second algorithm is a novel de-synchronized version of the previous one, in which at each iteration every node is allowed to broadcast, with a given probability: hence this algorithm is affected by interference among messages. Both algorithms are proved to converge, and their performance is evaluated in terms of rate of convergence and asymptotical error: focusing on the behavior for large networks, we highlight the role of topology and design parameters on the performance. Namely, we show that on fully-connected graphs the rate is bounded away from one, whereas the asymptotical error is bounded away from zero. On the contrary, on a wide class of locally-connected graphs, the rate goes to one and the asymptotical error goes to zero, as the size of the network grows larger.

研究动机与目标

• 分析具有干扰的大规模网络中广播gossip算法的性能。
• 评估随机分布式平均计算中收敛速度与渐近估计误差之间的权衡。
• 研究网络拓扑结构（特别是局部连接与全局连接）对算法偏差和收敛速率的影响。
• 提出并研究一种去同步化、抗干扰的广播gossip算法变体。
• 在对称网络结构（阿贝尔凯莱图）下，建立收敛速率和渐近误差的理论边界。

提出的方法

• 将广播gossip过程建模为节点值状态空间上的马尔可夫链，采用均方误差分析方法。
• 对算法的转移矩阵应用谱分析，利用阿贝尔凯莱图的对称性。
• 推导系统拉普拉斯类算子的特征值，以表征收敛速率和渐近误差。
• 引入扰动模型，以考虑去同步广播模型中的消息碰撞。
• 利用N（网络规模）的渐近展开，推导收敛速率和误差的主导阶行为。
• 通过在环形图上进行数值模拟，改变参数p（广播概率）和q（干扰概率），验证理论结果。

实验结果

研究问题

• RQ1 同时广播引起的干扰如何影响广播gossip算法的收敛速率和渐近误差？
• RQ2 网络拓扑结构——特别是局部连接与完全连接——对算法渐近偏差有何影响？
• RQ3 能否独立于渐近误差优化收敛速率？若能，其条件是什么？
• RQ4 广播概率p的选择如何影响大规模网络中速度与精度之间的权衡？
• RQ5 随着网络规模增大，渐近误差是否会消失？若会，需满足何种拓扑假设？

主要发现

• 在度有界的局部连接图上，原始算法与抗干扰广播gossip算法的渐近误差均随网络规模N增大而趋于零。
• 在完全图上，渐近误差保持远离零，表明即使在大N极限下仍存在持续偏差。
• 由于每轮有效活跃节点数量更高，抗干扰算法的收敛速率比原始广播gossip算法快一个数量级。
• 最优广播概率p* = 1/3可使收敛速率对网络规模的依赖最小化，实现收敛速率R = 1 - Θ(N⁻²)。
• 渐近误差对p的选择不敏感，因此可将p设为p* = 1/3以实现最优收敛速度而不降低精度。
• 对于大N，干扰引起的扰动对收敛速率影响极小，因为原始系统与受干扰系统均表现出相同的渐近速率标度。