[论文解读] Community models for networks observed through edge nominations

Tianxi Li, Elizaveta Levina+1 more|arXiv (Cornell University)|Aug 9, 2020

Complex Network Analysis Techniques参考文献 41被引用 4

一句话总结

本文提出一种通用模型，用于在通过边提名（即节点报告其连接关系）收集的网络中进行社区检测，该模型考虑了抽样偏差和缺失数据问题。提出了提名随机块模型（NSBM），支持高效的谱聚类与矩方法估计，并具备理论一致性保证。通过模拟实验和一个美国商学院招聘网络的实证分析，验证了该方法的有效性，揭示了商学院之间有意义的层级结构。

ABSTRACT

Communities are a common and widely studied structure in networks, typically under the assumption that the network is fully and correctly observed. In practice, network data are often collected by querying nodes about their connections. In some settings, all edges of a sampled node will be recorded, and in others, a node may be asked to name its connections. These sampling mechanisms introduce noise and bias which can obscure the community structure and invalidate assumptions underlying standard community detection methods. We propose a general model for a class of network sampling mechanisms based on recording edges via querying nodes, designed to improve community detection for network data collected in this fashion. We model edge sampling probabilities as a function of both individual preferences and community parameters, and show community detection can be performed by spectral clustering under this general class of models. We also propose, as a special case of the general framework, a parametric model for directed networks we call the nomination stochastic block model, which allows for meaningful parameter interpretations and can be fitted by the method of moments. Both spectral clustering and the method of moments in this case are computationally efficient and come with theoretical guarantees of consistency. We evaluate the proposed model in simulation studies on both unweighted and weighted networks and apply it to a faculty hiring dataset, discovering a meaningful hierarchy of communities among US business schools.

研究动机与目标

• 解决通过节点提名方式收集边数据的网络中的社区检测问题，此类方法引入了偏差和缺失性。
• 开发一种统计上合理的模型，同时考虑个体提名偏好与社区结构。
• 为该抽样机制下的社区检测提供计算高效且理论一致的方法。
• 在模拟网络和真实网络（包括一个教授招聘网络）上，展示该方法相对于标准方法的优越性。
• 通过纠正提名偏差，在真实数据中揭示可解释的社区结构。

提出的方法

• 提出一种通用模型，其中边提名概率取决于节点特定偏好与社区归属。
• 引入提名随机块模型（NSBM）作为有向网络中具有可解释参数的参数化特例。
• 在修正后的邻接矩阵上使用谱聚类检测社区，并提供理论一致性保证。
• 采用矩方法高效估计NSBM参数，避免使用MCMC或变分推断。
• 同时建模无权和加权网络，支持异质性提名行为。
• 对观测到的提名矩阵进行变换，以在假设模型下恢复潜在的社区结构。

实验结果

研究问题

• RQ1 当网络数据通过节点边提名而非完整观测方式收集时，如何改进社区检测？
• RQ2 提名偏差（即缺失边依赖于节点和社区特征）对标准社区检测方法有何影响？
• RQ3 能否开发一种参数模型，以可解释的参数同时捕捉提名行为与社区结构？
• RQ4 在该模型下，谱聚类与矩方法估计在一致性与计算效率方面表现如何？
• RQ5 当将该模型应用于真实世界数据（如教授招聘网络）时，会浮现何种层级社区结构？

主要发现

• 所提出的NSBM模型在美国内陆商学院招聘网络中成功恢复了有意义的层级结构，与Clauset等人（2015年）的先前观察结果一致。
• 在NSBM框架下，谱聚类在无向版本上的表现显著优于标准对称谱聚类，体现在社区平均排名的显著差异（例如，US News 2012年排名中分别为19.2 vs. 55.1）。
• 矩方法为NSBM提供了具计算效率且一致的参数估计，避免了昂贵的MCMC或变分推断。
• 在无权和加权网络上的模拟实验验证了该方法的稳健性与在多种提名机制下的更高准确性。
• 使用修正后模型进行社区检测可揭示可解释的聚类，而标准方法则产生平均排名相似但无意义的任意聚类。
• 该框架表明，忽略提名机制会导致社区检测准确率显著下降，并造成效率损失。