[论文解读] Spectral and matrix factorization methods for consistent community detection in multi-layer networks

Subhadeep Paul, Yuguo Chen|arXiv (Cornell University)|Apr 24, 2017

Complex Network Analysis Techniques被引用 5

一句话总结

该论文在多层随机块模型下，为多层网络社区检测中的谱方法和矩阵分解方法建立了理论一致性。证明了中间融合技术——如正交链接矩阵分解（OLMF）和协同正则化谱聚类——在节点数、层数和社区数增长时，能够实现一致的社区恢复，并在高维设置下推导出非渐近误差界。

ABSTRACT

We consider the problem of estimating a consensus community structure by combining information from multiple layers of a multi-layer network using methods based on the spectral clustering or a low-rank matrix factorization. As a general theme, these "intermediate fusion" methods involve obtaining a low column rank matrix by optimizing an objective function and then using the columns of the matrix for clustering. However, the theoretical properties of these methods remain largely unexplored. In the absence of statistical guarantees on the objective functions, it is difficult to determine if the algorithms optimizing the objectives will return good community structures. We investigate the consistency properties of the global optimizer of some of these objective functions under the multi-layer stochastic blockmodel. For this purpose, we derive several new asymptotic results showing consistency of the intermediate fusion techniques along with the spectral clustering of mean adjacency matrix under a high dimensional setup, where the number of nodes, the number of layers and the number of communities of the multi-layer graph grow. Our numerical study shows that the intermediate fusion techniques outperform late fusion methods, namely spectral clustering on aggregate spectral kernel and module allegiance matrix in sparse networks, while they outperform the spectral clustering of mean adjacency matrix in multi-layer networks that contain layers with both homophilic and heterophilic communities.

研究动机与目标

• 为多层网络社区检测中的中间融合方法建立理论一致性。
• 分析谱聚类和低秩矩阵分解在网络维度（节点、层数、社区数）增长时的渐近行为。
• 为基于优化的多层网络社区检测提供统计保证，使用如Frobenius范数最小化等目标函数。
• 将中间融合方法（如OLMF、协同正则化谱聚类）与后融合方法（如对平均邻接矩阵或核矩阵进行谱聚类）进行比较。
• 推导在多层随机块模型下，误聚类率的非渐近误差界。

提出的方法

• 提出正交链接矩阵分解（OLMF），通过最小化联合Frobenius范数目标函数，联合估计各层之间的共享社区结构。
• 采用协同正则化谱聚类，通过在各层上最大化组合归一化割并引入平滑惩罚项，对齐聚类结构。
• 应用Davis-Kahan定理，通过估计投影矩阵与总体投影矩阵之间的谱范数偏差，界定误聚类率。
• 利用集中不等式，推导经验目标函数与总体目标函数之间差异的高概率界。
• 运用矩阵扰动理论，将估计投影矩阵的偏差与特征值间隔及噪声水平关联起来。
• 分析总体层次上的目标函数及其最优解，以在多层随机块模型下建立全局最优解的一致性。

实验结果

研究问题

• RQ1 在何种条件下，中间融合目标函数的全局最优解在多层网络社区检测中是一致的？
• RQ2 在稀疏多层网络中，谱聚类和矩阵分解方法相对于后融合技术的表现如何？
• RQ3 在节点数和层数不断增长的多层网络中，误聚类率的非渐近误差界是什么？
• RQ4 中间融合方法的一致性如何依赖于邻接矩阵中的特征值间隔和噪声水平？
• RQ5 能否在多层随机块模型下为协同正则化谱聚类和正交链接矩阵分解建立理论保证？

主要发现

• 当节点数、层数和社区数增长时，中间融合目标函数的全局最优解在多层随机块模型下具有一致性。
• 协同正则化谱聚类的误聚类率以高概率满足 $ r_{av} \leq \frac{256n_{\max}k\bar{\Delta}\log(2n/\epsilon)}{(\lambda^{\bar{\mathcal{A}}})^{2}nM} $，表明在维度增长时仍具有一致性。
• 在稀疏网络以及存在同质性与异质性混合层的网络中，中间融合方法优于后融合方法（如对平均邻接矩阵或聚合核矩阵进行谱聚类）。
• 经验目标函数与总体目标函数之间的差异以高概率被界定为 $ O\left( kM^{3/4} \bar{\Delta}^{1/2} (M^{1/4} \bar{\Delta}^{1/2} + (\log 2M)^{1/2} (\log n)^{2+\epsilon} \bar{\Delta}^{\prime 1/4}) \right) $，确保了优化过程的稳定性。
• 误聚类率受特征值间隔 $ \lambda^{\bar{\mathcal{A}}} $ 控制，更大的间隔意味着更好的一致性。
• 理论结果证实，OLMF和协同正则化谱聚类即使在单个层存在噪声或稀疏时，也能通过层间信息共享实现一致的社区检测。