[论文解读] Component models for large networks

Janne Sinkkonen, Janne Aukia+1 more|ArXiv.org|Mar 11, 2008

Complex Network Analysis Techniques参考文献 28被引用 22

一句话总结

本文提出了社区交互成分模型（ICMc），一种非参数贝叶斯模型，将每个网络链接视为由潜在成分生成，从而实现在大规模稀疏网络中的可扩展社区检测。通过使用狄利克雷过程先验和折叠吉布斯采样，ICMc能够高效地在包含最多670,000个节点和189万条边的网络中发现社区结构，在处理不确定性和可扩展性方面优于传统方法。

ABSTRACT

Being among the easiest ways to find meaningful structure from discrete data, Latent Dirichlet Allocation (LDA) and related component models have been applied widely. They are simple, computationally fast and scalable, interpretable, and admit nonparametric priors. In the currently popular field of network modeling, relatively little work has taken uncertainty of data seriously in the Bayesian sense, and component models have been introduced to the field only recently, by treating each node as a bag of out-going links. We introduce an alternative, interaction component model for communities (ICMc), where the whole network is a bag of links, stemming from different components. The former finds both disassortative and assortative structure, while the alternative assumes assortativity and finds community-like structures like the earlier methods motivated by physics. With Dirichlet Process priors and an efficient implementation the models are highly scalable, as demonstrated with a social network from the Last.fm web site, with 670,000 nodes and 1.89 million links.

研究动机与目标

• 解决大规模网络中缺乏不确定性感知且可扩展的社区检测方法的问题。
• 开发一种非参数贝叶斯模型，无需预先指定社区数量即可发现社区结构。
• 通过直接将链接建模为由潜在成分生成，提升现有成分模型在可扩展性和可解释性方面的表现。
• 通过使用狄利克雷过程先验和折叠吉布斯采样，实现在大规模网络上的高效推理。

提出的方法

• ICMc将整个网络视为一个链接集合，其中每个链接被分配到一个代表社区的潜在成分。
• 每个成分根据节点特定的成分比例生成链接，成分分配通过狄利克雷过程先验生成，以支持非参数推断。
• 该模型使用折叠吉布斯采样通过计算将链接分配给每个成分的后验概率来推断成分分配，基于充分统计量。
• 采样公式同时结合了成分特定的链接计数和狄利克雷过程浓度参数，实现模型复杂度的自动调节。
• 通过因子分解联合概率，实现高效的逐链接条件概率计算，支持迭代吉布斯更新。
• 该方法支持稀疏网络，并可扩展至最多10^6个节点的网络，如在Last.fm社交网络上的实验所示。

实验结果

研究问题

• RQ1 以链接为基本分析单元的成分模型是否能在社区检测的可扩展性和准确性方面优于基于节点的模型？
• RQ2 如何有效将非参数贝叶斯先验（如狄利克雷过程）应用于关系数据，以在不预先指定社区数量的情况下推断社区结构？
• RQ3 在包含数百万个节点和边的大规模稀疏网络上，基于链接的成分模型的计算效率如何？
• RQ4 与确定性模块度方法相比，该模型如何处理网络数据中的不确定性（如缺失或虚假链接）？

主要发现

• ICMc成功在包含670,000个节点和189万条边的大规模Last.fm社交网络中检测到社区结构，展现出高度可扩展性。
• 得益于狄利克雷过程先验，该模型无需预先指定社区数量即可实现有效的社区检测。
• 折叠吉布斯采样通过利用充分统计量导出的条件概率，每次仅更新一个链接的成分分配，从而实现高效推理。
• 由于其基于链接的生成过程，该模型在捕捉同配性社区结构方面优于基于节点的成分模型（如SSN-LDA）。
• 使用狄利克雷过程先验使模型能够根据数据多样性自动调整成分数量，避免过拟合。