[论文解读] Community Detection in Partially Observable Social Networks

Cong Tran, Won-Yong Shin+1 more|arXiv (Cornell University)|Dec 30, 2017

Complex Network Analysis Techniques参考文献 57被引用 11

一句话总结

本文提出KroMFac，一种新颖的框架，用于在存在缺失节点和边的局部可观测社交网络中检测重叠社区。通过利用Kronecker图模型推断缺失的网络结构，并采用基于中心性的关键节点选择方法，KroMFac借助正则化非负矩阵分解（NMF）提升社区检测的准确性，在合成网络和真实网络上均优于基线方法，评估指标为标准化互信息（NMI）。

ABSTRACT

The discovery of community structures in social networks has gained significant attention since it is a fundamental problem in understanding the networks' topology and functions. However, most social network data are collected from partially observable networks with both missing nodes and edges. In this paper, we address a new problem of detecting overlapping community structures in the context of such an incomplete network, where communities in the network are allowed to overlap since nodes belong to multiple communities at once. To solve this problem, we introduce KroMFac, a new framework that conducts community detection via regularized nonnegative matrix factorization (NMF) based on the Kronecker graph model. Specifically, from an inferred Kronecker generative parameter matrix, we first estimate the missing part of the network. As our major contribution to the proposed framework, to improve community detection accuracy, we then characterize and select influential nodes (which tend to have high degrees) by ranking, and add them to the existing graph. Finally, we uncover the community structures by solving the regularized NMF-aided optimization problem in terms of maximizing the likelihood of the underlying graph. Furthermore, adopting normalized mutual information (NMI), we empirically show superiority of our KroMFac approach over two baseline schemes by using both synthetic and real-world networks.

研究动机与目标

• 解决在节点和边均缺失的局部可观测社交网络中进行重叠社区检测的挑战。
• 克服现有方法在社区检测过程中未能考虑网络不完整性的局限性。
• 开发一个统一框架，整合网络补全与社区检测，以提升检测准确性。
• 通过仅恢复最具影响力的节点（高程度节点）来限制不完整数据导致的误差累积，从而提升社区检测性能。
• 通过在合成网络和真实网络数据集上使用标准化互信息（NMI）进行定量评估，证明所提框架的有效性。

提出的方法

• 利用Kronecker图模型，通过从可观测子图中估计生成参数矩阵，推断网络的缺失部分。
• 应用中心性排序方法——特别是度中心性和Katz中心性——识别并选择关键节点（高程度节点）进行恢复。
• 智能地仅将最具影响力的恢复节点添加到原始图中，以最小化误差传播。
• 构建正则化非负矩阵分解（NMF）问题，以最大化潜在图的似然性，并揭示重叠社区结构。
• 基于NMF获得的隶属矩阵为节点分配社区，允许节点具有重叠的社区隶属关系。
• 使用标准化互信息（NMI）作为主要评估指标，与基线方法进行性能对比。

实验结果

研究问题

• RQ1 恢复的关键节点的引入如何影响在部分可观测网络中重叠社区检测的准确性？
• RQ2 基于Kronecker的生成模型能否有效重建缺失的网络结构，从而提升下游社区检测性能？
• RQ3 基于中心性的节点选择方法（如度中心性与Katz中心性对比）是否优于对所有缺失节点进行简单恢复的策略？
• RQ4 与不执行网络补全或采用非选择性恢复策略的基线方法相比，KroMFac表现如何？
• RQ5 所提出的KroMFac框架的计算复杂度是多少？其在网络规模增大时的可扩展性如何？

主要发现

• KroMFac在标准化互信息（NMI）指标上显著优于两个基线方法：一个忽略缺失节点和边的基线（Baseline 1），另一个对所有缺失节点进行无选择性恢复的基线（Baseline 2）。
• 在Graph 2的RN采样中，使用度中心性时最大NMI达到0.1991，而Katz中心性为0.1935，表明度中心性表现更优。
• 在Graph 2的FF采样中，度中心性对应的最高NMI为0.2966，Katz中心性为0.2832，再次显示基于度的节点选择更具优势。
• KroMFac的计算复杂度近似为|E|log|E|，与实验结果一致，表明其在大规模稀疏图上具有高效性能。
• 消融实验证实，网络补全与选择性节点恢复均为关键组件，完整KroMFac框架在所有测试数据集上均达到最高NMI。
• 通过使用高效的稀疏矩阵存储（如坐标格式），该框架在大规模NMF计算中有效降低了内存开销，保持了良好的可扩展性。