[论文解读] Accelerated Gossip in Networks of Given Dimension using Jacobi Polynomial Iterations

Raphaël Berthier, Francis Bach+1 more|arXiv (Cornell University)|May 22, 2018

Distributed Control Multi-Agent Systems参考文献 19被引用 4

一句话总结

该论文提出了一种新颖的分布式平均 gossip 算法，利用雅可比多项式迭代，以网络的谱维数 $d$ 而非谱隙来参数化。通过利用图谱测度的多项式逼近，该方法实现了加速收敛，尤其在非渐近 regime 中表现更优，在网格和渗透网络上优于现有方法，并提供了收敛速率与 $d$ 相关的理论保证。

ABSTRACT

Consider a network of agents connected by communication links, where each agent holds a real value. The gossip problem consists in estimating the average of the values diffused in the network in a distributed manner. We develop a method solving the gossip problem that depends only on the spectral dimension of the network, that is, in the communication network set-up, the dimension of the space in which the agents live. This contrasts with previous work that required the spectral gap of the network as a parameter, or suffered from slow mixing. Our method shows an important improvement over existing algorithms in the non-asymptotic regime, i.e., when the values are far from being fully mixed in the network. Our approach stems from a polynomial-based point of view on gossip algorithms, as well as an approximation of the spectral measure of the graphs with a Jacobi measure. We show the power of the approach with simulations on various graphs, and with performance guarantees on graphs of known spectral dimension, such as grids and random percolation bonds. An extension of this work to distributed Laplacian solvers is discussed. As a side result, we also use the polynomial-based point of view to show the convergence of the message passing algorithm for gossip of Moallemi \& Van Roy on regular graphs. The explicit computation of the rate of the convergence shows that message passing has a slow rate of convergence on graphs with small spectral gap.

研究动机与目标

• 为解决现有 gossip 算法依赖于谱隙 $\gamma$ 的局限性，后者在大规模网络中可能很小且难以估计。
• 开发一种仅依赖于谱维数 $d$ 的分布式平均算法，该参数对实践者而言更具直观性和可访问性。
• 在非渐近 regime（$t < 1/\sqrt{\gamma}$）中提升收敛速度，此时传统方法如简单 gossip 或消息传递因混合缓慢而表现不佳。
• 为具有已知谱维数的图（如网格和随机渗透网络）提供所提方法的理论收敛保证。
• 将该方法扩展至分布式拉普拉斯求解器，并利用多项式框架分析消息传递算法的收敛性。

提出的方法

• 该方法使用时间依赖权重 $a_t$、$b_t$ 和 $c_t$ 的二阶递推，这些权重源自雅可比多项式，并根据网络的谱维数 $d$ 进行调整。
• 该算法基于使用雅可比测度近似 gossip 矩阵 $W$ 的谱测度，从而实现对靠近谱边界的特征值的多项式滤波。
• 递推通过正交多项式 $\tilde{p}_t(\lambda)$ 定义，其由第一类和第二类切比雪夫多项式构造，用于调节收敛特性。
• 权重 $a_t$、$b_t$、$c_t$ 显式推导，以优化针对谱维数 $d$ 的图的收敛性，其闭式表达式包含 $t$ 和 $d$。
• 通过谱投影 $\pi_t(\lambda)$ 分析收敛性，其将 $\ell^2$-范数中的误差限制为 $\|x^t - \bar{\xi}\mathbf{1}\|_2 \leq \|\xi - \bar{\xi}\mathbf{1}\|_2 \cdot \sup_\lambda |\pi_t(\lambda)|$。
• 该方法通过聚焦于靠近 1 的特征值密度，避免对谱隙 $\gamma$ 的依赖，该密度由谱维数 $d$ 表征。

实验结果

研究问题

• RQ1 是否可以在不依赖谱隙 $\gamma$ 的前提下加速 gossip 算法，而该参数在大规模网络中通常难以估计？
• RQ2 在非渐近 regime 中，gossip 算法的性能如何依赖于底层图的谱维数 $d$？
• RQ3 基于多项式的迭代，特别是源自雅可比多项式的迭代，是否能比传统消息传递或基于切比雪夫的方法实现更快的收敛？
• RQ4 所提算法在具有已知谱维数（如 $d$-维网格）的图上的理论收敛速率是多少？
• RQ5 多项式框架是否可用于分析和改进如规则图上的消息传递等现有算法的收敛性？

主要发现

• 所提算法在非渐近 regime 中实现了加速收敛，尤其在 $t < 1/\sqrt{\gamma}$ 时表现显著，此时标准方法会变慢。
• 对于谱维数为 $d$ 的图，收敛速率被限制为 $\left(\frac{(1-\tilde{\gamma})D + \sqrt{((1-\tilde{\gamma})D)^2 - 1}}{D + \sqrt{D^2 - 1}}\right)^t$，其中 $D = d/(2\sqrt{d-1})$，表明其依赖于 $d$ 而非 $\gamma$。
• 在 $d$-维网格和随机渗透网络中，模拟结果表明该方法优于简单 gossip 和消息传递，尤其在中等 $t$ 时表现更优。
• 该方法为消息传递在谱隙较小的图上收敛缓慢提供了理论解释，表明其收敛速率在这些情况下为 $O(t^{-1})$。
• 该算法对 $\gamma$ 的不确定性具有鲁棒性，因其仅依赖于更易获取的参数 $d$（谱维数）。
• 还讨论了将该方法扩展至分布式拉普拉斯求解器，表明该多项式框架在分布式线性代数中具有更广泛的应用潜力。