[论文解读] Hypothesis testing for populations of networks

Li Chen, Jie Zhou+1 more|arXiv (Cornell University)|Nov 9, 2019

Complex Network Analysis Techniques参考文献 46被引用 4

一句话总结

本文提出了一种针对大规模稀疏网络群体的新型假设检验框架，基于广义Wigner矩阵的奇异值构造检验统计量。渐近零分布服从Tracy–Widom分布，且在备择假设下检验统计量渐近功效为1，从而实现对具有时变阈值的动态网络中的一致性变化点检测。

ABSTRACT

It has become an increasingly common practice for scientists in modern science and engineering to collect samples of multiple network data in which a network serves as a basic data object. The increasing prevalence of multiple network data calls for developments of models and theory that can deal with inference problems for populations of networks. In this work, we propose a general procedure for hypothesis testing of networks and in particular, for differentiating distributions of two samples of networks. We consider a very general framework which allows us to perform tests on large and sparse networks. Our contribution is two-fold: (1) We propose a test statistics based on the singular value of a generalized Wigner matrix. The asymptotic null distribution of the statistics is shown to follow the Tracy--Widom distribution as the number of nodes tends to infinity. The test also yields asymptotic power guarantee with the power tending to one under the alternative; (2) The test procedure is adapted for change-point detection in dynamic networks which is proven to be consistent in detecting the change-points. In addition to theoretical guarantees, another appealing feature of this adapted procedure is that it provides a principled and simple method for selecting the threshold that is also allowed to vary with time. Extensive simulation studies and real data analyses demonstrate the superior performance of our procedure with competitors.

研究动机与目标

• 解决网络群体，尤其是大规模稀疏网络群体的统计推断方法缺失问题。
• 开发一种不假设节点数量固定的通用假设检验程序。
• 为检验统计量的渐近零分布及在备择假设下的功效提供理论保证。
• 将方法扩展至具有合理、时变自适应阈值选择的动态网络中变化点检测。
• 为现实世界网络数据分析提供计算可行且理论坚实的解决方案。

提出的方法

• 基于从网络邻接矩阵构建的广义Wigner矩阵的最大奇异值，提出检验统计量。
• 证明当节点数趋于无穷大时，检验统计量的渐近零分布收敛于Tracy–Widom分布。
• 证明在备择假设下，检验统计量的渐近功效为1，确保高检测概率。
• 通过允许阈值随时间变化，将检验方法适配于动态网络中的变化点检测。
• 利用Tracy–Widom渐近分布推导出一种有理论依据、数据驱动的阈值选择方法。
• 在模拟数据和真实网络数据集上应用该方法，以验证其性能。

实验结果

研究问题

• RQ1 能否为网络群体开发一种假设检验方法，使其在节点数趋于无穷大时依然有效，即使在大规模稀疏网络中？
• RQ2 所提出的检验统计量是否具有已知的渐近零分布，从而支持精确的p值计算？
• RQ3 在备择假设下，该检验是否具有足够功效以检测两个网络群体之间的差异？
• RQ4 能否将该检验方法扩展至具有时变网络结构的动态网络中的变化点检测？
• RQ5 能否为变化点检测推导出一种有理论依据、自适应的阈值选择方法，避免使用交叉验证或人工调参？

主要发现

• 随着节点数增加，所提出的检验统计量的渐近零分布收敛于Tracy–Widom分布。
• 在备择假设下，检验统计量的渐近功效为1，意味着其以趋于1的概率正确检测出网络群体之间的差异。
• 该方法适用于大规模稀疏网络，克服了现有方法中固定节点规模的限制。
• 经调整的变化点检测程序具有一致性，即随着网络规模增大，能以高概率正确识别变化点。
• 变化点检测的阈值选择方法具有理论依据且能随时间自适应调整，依赖于Tracy–Widom渐近分布，而非交叉验证。
• 大量模拟实验与真实数据分析表明，该方法在假设检验与变化点检测任务中均显著优于现有方法。