[论文解读] Community Detection in Degree-Corrected Block Models

Chao Gao, Zongming Ma+2 more|arXiv (Cornell University)|Jul 24, 2016

Complex Network Analysis Techniques参考文献 25被引用 15

一句话总结

本文首次建立了度校正块模型（DCBMs）中社区检测的渐近极小极大风险，表明根本极限取决于度校正参数、社区规模和连通性模式。该文提出了一种多项式时间算法，通过结合阈值化与秩自适应的谱聚类，实现了自适应、一致且渐近最优的社区检测。

ABSTRACT

Community detection is a central problem of network data analysis. Given a network, the goal of community detection is to partition the network nodes into a small number of clusters, which could often help reveal interesting structures. The present paper studies community detection in Degree-Corrected Block Models (DCBMs). We first derive asymptotic minimax risks of the problem for a misclassification proportion loss under appropriate conditions. The minimax risks are shown to depend on degree-correction parameters, community sizes, and average within and between community connectivities in an intuitive and interpretable way. In addition, we propose a polynomial time algorithm to adaptively perform consistent and even asymptotically optimal community detection in DCBMs.

研究动机与目标

• 建立度校正块模型（DCBMs）中社区检测的根本统计极限，DCBMs通过允许社区内部度异质性，对标准随机块模型进行了推广。
• 在误分类比例损失下推导社区检测的渐近极小极大风险，捕捉度校正参数、社区规模以及社区内/社区间连接概率之间的相互作用。
• 开发一种多项式时间算法，无需事先知晓模型参数，即可自适应地实现一致且渐近最优的社区检测。
• 通过证明所提方法在对数因子范围内达到推导出的极小极大风险，弥合了理论极限与实际算法之间的差距。
• 为DCBMs中的社区检测提供一个决策理论框架，使现有及未来方法的性能能够被严格基准测试。

提出的方法

• 将DCBMs中的社区检测建模为在误分类比例损失函数下的决策理论问题。
• 以闭式表达推导出渐近极小极大风险，其形式为 $ \left[ \frac{1}{n} \sum_{i=1}^{n} \exp\left( -\theta_i \frac{n}{k} (\sqrt{p} - \sqrt{q})^2 \right) \right]^{1+o(1)} $，其中 $ \theta_i $ 为度校正参数，$ n/k $ 为平均社区规模，$ p, q $ 分别为社区内与社区间边的概率。
• 提出一种基于谱聚类的算法，对邻接矩阵应用阈值化以降低噪声并提升信号恢复能力。
• 采用秩自适应谱聚类来估计社区成员身份，并提供一致性与最优性的理论保证。
• 利用矩阵集中不等式与奇异值分解，界定估计概率矩阵与真实概率矩阵之间的误差。
• 引入阈值算子 $ T_\tau(A) $ 以稳定邻接矩阵，并在高维设置下降低估计方差。

实验结果

研究问题

• RQ1 在误分类比例损失下，DCBMs中社区检测的根本统计极限（极小极大风险）是什么？
• RQ2 度校正参数 $ \theta_i $、社区规模以及连接参数 $ p, q $ 如何影响极小极大风险？
• RQ3 是否存在一种多项式时间算法，可在不了解模型参数的前提下实现推导出的极小极大风险？
• RQ4 所提算法如何自适应地应对未知的社区结构与度异质性？
• RQ5 极小极大风险与DCBMs中每个社区的有效样本量之间存在何种关系？

主要发现

• DCBMs中社区检测的渐近极小极大风险被推导为 $ \left[ \frac{1}{n} \sum_{i=1}^{n} \exp\left( -\theta_i \frac{n}{k} (\sqrt{p} - \sqrt{q})^2 \right) \right]^{1+o(1)} $，该值随 $ \theta_i $ 增大、社区规模 $ n/k $ 增大以及分离度 $ (\sqrt{p} - \sqrt{q})^2 $ 增大而减小。
• 极小极大风险依赖于度校正参数 $ \theta_i $，表明度数较高（即 $ \theta_i $ 较大）的节点更易于被正确分类。
• 所提算法在适度正则性条件下可实现一致的社区检测，即使社区数 $ k $ 随 $ n $ 增长亦成立。
• 该算法在渐近意义下是最优的，其误差率与推导出的极小极大风险仅相差对数因子。
• 结合阈值化的谱聚类方法以高概率满足 $ \| \hat{P} - P \|_F^2 \leq C_1 k(n\alpha p \|\theta\|_\infty^2 + 1) + C_2 \alpha^2 p \|\theta\|_\infty^2 n $，确保了估计的稳定性。
• 分析表明，概率矩阵 $ P $ 的估计误差受真实矩阵的秩与噪声的谱范数控制，从而实现了精确的集中不等式边界。