[论文解读] A primer on statistically validated networks

Salvatore Miccichè, Rosario N. Mantegna|arXiv (Cornell University)|Feb 19, 2019

Complex Network Analysis Techniques参考文献 5被引用 7

一句话总结

本文提出统计验证网络作为一种方法，通过拒绝考虑节点度自然异质性的零假设，识别复杂系统中显著的链接和节点。结合差异滤波和二分网络验证，该方法能够稳健检测出表达过度或不足的关系，通过多重假设检验校正确保统计可靠性，并在预处理数据和揭示跨多种真实网络的稳定社区核心方面展现出实用性。

ABSTRACT

In this contribution we discuss some approaches of network analysis providing information about single links or single nodes with respect to a null hypothesis taking into account the heterogeneity of the system empirically observed. With this approach, a selection of nodes and links is feasible when the null hypothesis is statistically rejected. We focus our discussion on approaches using (i) the so-called disparity filter and (ii) statistically validated network in bipartite networks. For both methods we discuss the importance of using multiple hypothesis test correction. Specific applications of statistically validated networks are discussed. We also discuss how statistically validated networks can be used to (i) pre-process large sets of data and (ii) detect cores of communities that are forming the most close-knit and stable subsets of clusters of nodes present in a complex system.

研究动机与目标

• 开发一种统计上严谨的方法，通过检验考虑度异质性的零假设，识别复杂网络中非随机的显著链接和节点。
• 通过将FDR和邦弗朗尼等多重假设检验校正方法整合到网络验证中，解决大规模网络分析中的假阳性问题。
• 通过聚焦于偏离预期随机模式的统计验证链接，实现对社区内稳定核心子结构的检测。
• 提供一种实用框架，通过过滤掉可由一般网络异质性解释的关系，对噪声或特殊性数据进行预处理。
• 通过验证单个链接和节点，将网络分析扩展至社区检测和基序分析之外，为复杂系统的功能和结构驱动因素提供更深入的见解。

提出的方法

• 应用差异滤波方法，根据链接权重相对于零模型下预期分布的情况，为每条链接分配一个p值，该零模型保留了节点度。
• 使用多重假设检验校正（例如FDR、邦弗朗尼）来控制同时检验所有链接时的家庭错误率，从而减少假阳性。
• 对于二分网络，将网络投影为单分网络，并应用统计验证，以识别显著过度或不足表达的链接，与零模型相比。
• 通过在校正后保留p值低于显著性阈值的链接，构建统计验证网络，确保统计可靠性。
• 利用验证网络通过识别在多个实现或噪声水平下持续存在的最稳定、最显著的子网络，检测社区核心。
• 在验证网络上应用社区检测算法（例如Louvain），以提取在原始网络中不可见的稳健且信息丰富的聚类结构。

实验结果

研究问题

• RQ1 在复杂网络中，如何区分统计显著链接与仅由度异质性导致的链接？
• RQ2 多重假设检验校正（例如FDR与邦弗朗尼）对统计验证网络的准确性和信息量有何影响？
• RQ3 统计验证网络在多大程度上能揭示被噪声或随机波动掩盖的社区内稳定核心子结构？
• RQ4 统计验证网络在通过过滤掉特殊性或非显著关系来预处理大规模噪声数据方面有哪些应用方式？
• RQ5 在社区检测性能和抗噪声能力方面，验证网络的结构特性与原始网络相比如何？

主要发现

• 与倾向于过于保守的邦弗朗尼校正相比，使用多重假设检验校正（尤其是FDR）可产生更具信息量和精确度的统计验证网络。
• 调整兰德指数（Radj）和调整华莱士指数（Wadj）显示，统计验证网络中的社区划分比原始网络更一致且更稳健，尤其在存在噪声时。
• 在验证网络中检测到的社区核心在不同随机实现和噪声水平下均保持稳定，表明其代表了最紧密且功能相关的子网络。
• 统计验证网络在社区检测准确性方面优于原始网络，表现为在多个分区中平均调整兰德指数和华莱士指数更高。
• 该方法成功识别了金融交易网络、合作作者网络和社会互动数据等多种系统中的过度表达和不足表达关系，揭示了非随机的结构模式。
• R语言和GitHub上的软件工具可供使用，包括网络投影、社区检测和指标计算等模块，促进了可重复性和实际应用。