[论文解读] Eigenvector Computation and Community Detection in Asynchronous Gossip Models

Frederik Mallmann-Trenn, Cameron Musco+1 more|arXiv (Cornell University)|Apr 23, 2018

Complex Network Analysis Techniques被引用 6

一句话总结

本文提出了一种新颖的异步分布式算法，用于在基于gossip的通信模型下，使用改进的Oja流式PCA算法计算网络邻接矩阵的顶级特征向量。该算法在随机块模型和随机通信模型下的社区检测任务中实现了最先进性能，具备严格的收敛保证，并在特征向量近似和社区恢复方面改进了时间复杂度界。

ABSTRACT

We give a simple distributed algorithm for computing adjacency matrix eigenvectors for the communication graph in an asynchronous gossip model. We show how to use this algorithm to give state-of-the-art asynchronous community detection algorithms when the communication graph is drawn from the well-studied stochastic block model. Our methods also apply to a natural alternative model of randomized communication, where nodes within a community communicate more frequently than nodes in different communities. Our analysis simplifies and generalizes prior work by forging a connection between asynchronous eigenvector computation and Oja's algorithm for streaming principal component analysis. We hope that our work serves as a starting point for building further connections between the analysis of stochastic iterative methods, like Oja's algorithm, and work on asynchronous and gossip-type algorithms for distributed computation.

研究动机与目标

• 在基于gossip的通信模型下，开发一种用于计算网络邻接矩阵顶级特征向量的分布式、异步算法。
• 将此特征向量计算方法应用于改进随机块模型及其相关模型（具有社区内通信偏置）中的社区检测。
• 为在异步和随机调度下进行特征向量近似建立有限时间收敛保证。
• 弥合流式迭代方法（如Oja算法）的分析与异步分布式图算法之间的鸿沟。
• 简化并推广先前在分布式系统中进行特征向量计算与社区检测的工作。

提出的方法

• 将Oja的流式PCA算法适配至异步gossip模型，实现顶级k个特征向量的分布式计算。
• 每个节点通过从随机选择的邻居接收的消息，维护并更新其本地特征向量估计。
• 使用归一化邻接矩阵表示，以确保在异步设置下的稳定性和收敛性。
• 利用Chernoff不等式和鞅集中不等式，分析随机通信调度下的标签传播与收敛性。
• 引入一种过滤机制，通过聚焦于高置信度的标签更新来减少误差传播。
• 利用谱间隙和特征值间隙参数，界定收敛时间和误差率。

实验结果

研究问题

• RQ1 Oja的流式PCA算法能否被适配至完全异步、随机通信模型（如gossip模型）中？
• RQ2 在这些模型中，分布式特征向量计算的收敛时间和误差界是什么？
• RQ3 该算法在具有异步通信的随机块模型下的社区检测任务中表现如何？
• RQ4 流式特征向量估计的分析能否扩展至分析异步分布式图算法？
• RQ5 谱间隙和混合时间对所提算法收敛速度有何影响？

主要发现

• 该算法在时间 Õ(Λk³/(gap·min(gap, γ_mix)·ε³)) 内计算出顶级k个特征向量，误差不超过 ε，其中 Λ 是前k个最大特征值的和。
• 对于随机块模型 G(n,p,q)，当 p = Ω(log n / n) 且 q = Ω(log n / n) 时，该算法以高概率实现社区检测，时间复杂度为 Õ(n log n) 轮。
• 该方法确保误标节点数量随时间几何级减少，经过足够轮次后，以高概率满足 |S_{t+1}| ≤ (2/3)|S_t|。
• 分析表明，即使在异步和随机通信下，该算法仍能收敛至正确的特征向量，且具有强有限时间保证。
• 与先前工作相比，该算法在随机块模型下分布式社区检测的收敛时间和误差界方面均有改进。
• Oja算法与异步gossip模型之间的联系，使得分布式特征向量计算能够建立统一的分析框架。