[论文解读] Generalized Hypergeometric Ensembles: Statistical Hypothesis Testing in Complex Networks

Giona Casiraghi, Vahan Nanumyan+2 more|arXiv (Cornell University)|Jul 8, 2016

Data Visualization and Analytics参考文献 1被引用 14

一句话总结

本文引入了广义超几何系综，这是一种针对有限、有向和加权网络的新一类可解析处理的统计系综。通过引入成对链接倾向性（dyadic link propensities），该框架实现了期望值和协方差的精确计算，从而支持严格的统计假设检验——通过拒绝仅基于度序列的零模型，并在Zachary的空手道俱乐部等实证网络中支持社区结构假设，展示了其有效性。

ABSTRACT

Statistical ensembles of networks, i.e., probability spaces of all networks that are consistent with given aggregate statistics, have become instrumental in the analysis of complex networks. Their numerical and analytical study provides the foundation for the inference of topological patterns, the definition of network-analytic measures, as well as for model selection and statistical hypothesis testing. Contributing to the foundation of these data analysis techniques, in this Letter we introduce generalized hypergeometric ensembles, a broad class of analytically tractable statistical ensembles of finite, directed and weighted networks. This framework can be interpreted as a generalization of the classical configuration model, which is commonly used to randomly generate networks with a given degree sequence or distribution. Our generalization rests on the introduction of dyadic link propensities, which capture the degree-corrected tendencies of pairs of nodes to form edges between each other. Studying empirical and synthetic data, we show that our approach provides broad perspectives for model selection and statistical hypothesis testing in data on complex networks.

研究动机与目标

• 开发一种统计上严谨且可解析处理的网络系综框架，以推广经典配置模型。
• 通过实现精确的统计推断，解决现有系综的局限性——例如ERGM中难以处理的划分函数和生成模型中约束受限的问题。
• 提供一个零模型框架，支持对网络模式（包括社区结构和度异质性）的假设检验。
• 在有限、加权和有向网络中，利用关键统计量的闭式表达式，实现模型选择与显著性检验。
• 通过在建模拓扑模式方面保持灵活性的同时提供解析可处理性，弥合生成模型与指数随机图模型之间的差距。

提出的方法

• 提出一种针对具有固定期望度序列的有限、有向和加权网络的生成模型，基于邻接矩阵上的广义超几何分布。
• 引入成对链接倾向性（Ω_ij）以建模节点对形成边的度校正倾向，推广标准配置模型中的均匀边概率。
• 推导出系综下邻接矩阵的期望值和协方差矩阵的闭式表达式，实现对网络统计量的解析处理。
• 采用马氏距离 D₀²(A) 作为检验统计量，量化实证网络与系综之间的偏离程度，在零假设下具有渐近 χ² 分布。
• 当解析解不可行时，采用基于抽样的 p 值估计方法，利用生成模型的简洁性实现高效实现。
• 将该框架应用于检验零假设：(1) 仅度序列可解释该网络（配置模型）；(2) 块状结构的 Ω_ij（社区型模型）可解释该网络。

实验结果

研究问题

• RQ1 能否构建一个广义配置模型的系综，使其适用于有向、加权网络，同时保持解析可处理性？
• RQ2 成对链接倾向性在多大程度上能够捕捉超越度序列的更高阶拓扑模式？
• RQ3 该系综框架能否通过精确或近似 p 值，实现对实证网络的严格统计假设检验？
• RQ4 Zachary的空手道俱乐部网络中的社区结构是否在统计上显著，超出了度异质性和块状边倾向性的解释范围？
• RQ5 该系综中期望值和协方差的解析表达式在有限复杂网络的模型选择与推断中起到何种作用？

主要发现

• 广义超几何系综为期望邻接矩阵及其协方差矩阵提供了闭式表达式，实现了对网络统计量的解析处理。
• 对于空手道俱乐部网络，仅由度序列解释网络的零假设的 p 值约为 0，因此拒绝该假设。
• 当检验具有块状结构成对倾向性（社区型）的零模型时，p 值为 0.158367，未能拒绝该假设，表明社区结构可解释网络的拓扑结构。
• 将实证网络与两类系综的随机实现进行视觉比较，证实社区结构模型比仅基于度的模型更能捕捉网络的拓扑特征。
• 该框架通过马氏距离支持网络模式的统计检验，在特定条件下具有渐近 χ² 分布，支持正式推断。
• 该方法为ERGM和生成模型提供了一种有原则的替代方案，结合了解析可处理性与通过成对倾向性灵活建模拓扑约束的能力。