[论文解读] Adjusted chi-square test for degree-corrected block models

Linfan Zhang, Arash A. Amini|arXiv (Cornell University)|Dec 30, 2020

Complex Network Analysis Techniques参考文献 64被引用 4

一句话总结

本文提出了一种用于度校正随机块模型（DCSBM）拟合优度的调整卡方检验，通过在度数条件下对压缩邻接矩阵进行处理，实现了在大规模稀疏网络中的可扩展性。当节点度数的调和平均数趋于无穷时，该检验在原假设下保持渐近有效性，对多种替代模型（包括潜变量模型）具有高统计功效，并可通过顺序检验实现一致的社区检测，实证验证显示在 Facebook-100 等真实网络中，小社区 DCSBM 普遍存在拟合不足的问题。

ABSTRACT

We propose a goodness-of-fit test for degree-corrected stochastic block models (DCSBM). The test is based on an adjusted chi-square statistic for measuring equality of means among groups of $n$ multinomial distributions with $d_1,\dots,d_n$ observations. In the context of network models, the number of multinomials, $n$, grows much faster than the number of observations, $d_i$, corresponding to the degree of node $i$, hence the setting deviates from classical asymptotics. We show that a simple adjustment allows the statistic to converge in distribution, under null, as long as the harmonic mean of $\{d_i\}$ grows to infinity. When applied sequentially, the test can also be used to determine the number of communities. The test operates on a compressed version of the adjacency matrix, conditional on the degrees, and as a result is highly scalable to large sparse networks. We incorporate a novel idea of compressing the rows based on a $(K+1)$-community assignment when testing for $K$ communities. This approach increases the power in sequential applications without sacrificing computational efficiency, and we prove its consistency in recovering the number of communities. Since the test statistic does not rely on a specific alternative, its utility goes beyond sequential testing and can be used to simultaneously test against a wide range of alternatives outside the DCSBM family. In particular, we prove that the test is consistent against a general family of latent-variable network models with community structure.

研究动机与目标

• 开发一种用于度校正随机块模型（DCSBM）的拟合优度检验，使其在节点度数显著变化的非独立同分布（non-i.i.d.）设置下仍保持有效性。
• 解决在节点数量相对于个体度数持续增长的大规模稀疏网络中，经典渐近理论失效时 DCSBM 拟合检验的挑战。
• 通过顺序应用该检验，确定最优社区数量，实现一致的社区检测。
• 构建一种对 DCSBM 家族之外的多种替代模型（包括潜变量网络模型）均具有鲁棒性和高统计功效的检验。
• 提供一种可扩展、计算高效的探索性网络分析工具，尤其适用于 DCSBM 可能并非理想拟合的真实世界网络。

提出的方法

• 该检验使用调整后的卡方统计量，比较各组之间的多项分布均值，其中每组对应于一个节点在其度数条件下的边分布。
• 其在邻接矩阵的压缩版本上运行，当检验 K 个社区时，基于 (K+1) 个社区的分配对行进行分组，从而在不损失效率的前提下提升检验功效。
• 对卡方统计量的调整确保了在原假设下，只要节点度数的调和平均数趋于无穷，统计量即收敛于极限分布。
• 该方法基于观测到的度数进行条件化处理，适用于稀疏网络，并保留了网络的度异质性特征。
• 通过顺序应用该检验，识别出在最小 K 值下原假设（即 K 个社区的 DCSBM）不被拒绝的点，从而确定社区数量。
• 通过将多项分布框架适配至适当的指数族分布，该方法被扩展至泊松计数数组、二分网络和有向网络。

实验结果

研究问题

• RQ1 能否构建一种 DCSBM 拟合优度检验，使其在节点数量增长快于个体节点度数时仍保持有效性？
• RQ2 当节点度数异质且稀疏时，所提出的调整卡方检验是否在原假设下仍保持渐近有效性？
• RQ3 该检验是否能一致地恢复网络的真实社区数量，即使模型设定存在误配？
• RQ4 该检验对 DCSBM 家族之外的替代模型（如具有社区结构的潜变量模型）是否具有高统计功效？
• RQ5 该检验能否在真实世界网络中有效应用，尽管 DCSBM 常被假设但可能并非理想拟合？

主要发现

• 只要节点度数的调和平均数趋于无穷，调整后的卡方检验在原假设下即收敛于极限分布，确保了在稀疏设置下的渐近有效性。
• 该检验对广泛类别的替代模型（包括具有社区结构的潜变量网络模型）表现出高统计功效，即使未指定偏离方向亦然。
• 在 Facebook-100 数据集中，几乎所有网络中，社区数少于 25 个的 DCSBM 均被强烈拒绝，表明其普遍存在拟合不足。
• 该检验的统计量本身即为一种强大的探索性工具：社区轮廓图可揭示单个或多个拐点等结构模式，有助于可视化社区结构。
• 通过顺序应用该检验，能一致地恢复社区数量，当样本量较大时，FNAC+ 和 AS 检验在区分 DCSBM 与 DCLVM 替代模型方面达到近乎完美的准确率。
• 即使真实模型与原假设具有相同社区数（如 K=4），该检验仍有效，表明其不仅能检测社区数量差异，还能识别出模型设定的误配。