[论文解读] Consistency of community detection in multi-layer networks using spectral and matrix factorization methods

Subhadeep Paul, Yuguo Chen|arXiv (Cornell University)|Apr 24, 2017

Complex Network Analysis Techniques参考文献 37被引用 9

一句话总结

该论文在多层随机块模型下，针对多层网络中的共识社区检测，通过谱聚类和矩阵分解方法建立了理论一致性。研究证明，在高维设置下，对平均邻接矩阵进行谱聚类可实现一致性；而中间融合技术在稀疏或异质网络中优于后融合方法。

ABSTRACT

We consider the problem of estimating a consensus community structure by combining information from multiple layers of a multi-layer network or multiple snapshots of a time-varying network. Numerous methods have been proposed in the literature for the more general problem of multi-view clustering in the past decade based on the spectral clustering or a low-rank matrix factorization. As a general theme, these methods involve obtaining a low column rank matrix by optimizing an objective function and then using the columns of the matrix for clustering. However, the theoretical properties of these methods remain largely unexplored and most researchers have relied on the performance in synthetic and real data to assess the goodness of the procedures. In the absence of statistical guarantees on the objective functions, it is difficult to determine if the algorithms optimizing the objective will return a good community structure. We apply some of these methods for consensus community detection in multi-layer networks and investigate the consistency properties of the global optimizer of the objective functions under the multi-layer stochastic blockmodel. We derive several new asymptotic results showing consistency of the intermediate fusion techniques along with the spectral clustering of mean adjacency matrix under a high dimensional setup, where the number of nodes, the number of layers and the number of communities of the multi-layer graph grow. Our numerical study shows that in comparison to the intermediate fusion techniques, late fusion methods, namely spectral clustering on aggregate spectral kernel and module allegiance matrix, under-perform in sparse networks, while the spectral clustering of mean adjacency matrix under-performs in multi-layer networks that contain layers with both homophilic and heterophilic clusters.

研究动机与目标

• 研究多层网络中共识社区检测方法的理论一致性。
• 评估在高维渐近设置下谱聚类和矩阵分解技术的性能。
• 比较多层网络社区检测中中间融合与后融合策略的性能。
• 确定在何种条件下对平均邻接矩阵进行谱聚类可实现一致的社区恢复。
• 为基于优化的多层网络社区检测提供统计保证。

提出的方法

• 应用谱聚类和低秩矩阵分解方法，融合多层网络中的信息。
• 使用跨层的平均邻接矩阵作为社区检测的核心融合策略。
• 采用多层随机块模型作为理论分析的生成模型。
• 推导出在维度增长条件下，目标函数全局最优解的渐近一致性结果。
• 分析在聚类前结合各层特定谱嵌入的中间融合技术。
• 比较后融合方法，如对聚合谱核和模块从属矩阵进行谱聚类，与对平均邻接矩阵进行谱聚类的方法。

实验结果

研究问题

• RQ1 在何种条件下，目标函数的全局最优解在共识社区检测中是一致的？
• RQ2 与中间融合和后融合方法相比，对平均邻接矩阵进行谱聚类的性能如何？
• RQ3 在节点数和层数不断增长的多层网络中，矩阵分解和谱聚类的理论保证是什么？
• RQ4 网络稀疏性以及同质与异质簇并存对方法性能有何影响？
• RQ5 在稀疏或异质多层网络中，中间融合是否优于后融合？

主要发现

• 在多层随机块模型下，当节点数、层数和社区数均增长的高维设置中，对平均邻接矩阵进行谱聚类具有一致性。
• 在稀疏网络中，中间融合技术在理论一致性和实际性能方面均优于后融合方法。
• 后融合方法，包括对聚合谱核和模块从属矩阵进行谱聚类，在稀疏多层网络中表现较差。
• 在同时包含同质与异质簇的网络中，平均邻接矩阵方法的性能劣于中间融合方法。
• 理论结果证明，在多层随机块模型下，目标函数全局最优解具有一致性。
• 本研究首次为多层网络中使用谱聚类和矩阵分解方法进行共识社区检测提供了渐近一致性保证。