[论文解读] A Bayesian Framework for Community Detection Integrating Content and Link

Tianbao Yang, Rong Jin+2 more|arXiv (Cornell University)|May 9, 2012

Text and Document Classification Technologies被引用 4

一句话总结

该论文提出了一种贝叶斯框架，通过建模链接形成中的节点流行度，并使用判别性内容模型进行社区分配，将节点内容与网络链接相结合用于社区检测。该方法在结合内容与链接信息方面优于最先进方法，在真实数据集上通过近似贝叶斯推断实现了更高的准确性。

ABSTRACT

This paper addresses the problem of community detection in networked data that combines link and content analysis. Most existing work combines link and content information by a generative model. There are two major shortcomings with the existing approaches. First, they assume that the probability of creating a link between two nodes is determined only by the community memberships of the nodes; however other factors (e.g. popularity) could also affect the link pattern. Second, they use generative models to model the content of individual nodes, whereas these generative models are vulnerable to the content attributes that are irrelevant to communities. We propose a Bayesian framework for combining link and content information for community detection that explicitly addresses these shortcomings. A new link model is presented that introduces a random variable to capture the node popularity when deciding the link between two nodes; a discriminative model is used to determine the community membership of a node by its content. An approximate inference algorithm is presented for efficient Bayesian inference. Our empirical study shows that the proposed framework outperforms several state-of-theart approaches in combining link and content information for community detection.

研究动机与目标

• 解决现有生成模型的局限性，即假设链接仅依赖于社区归属，且对无关内容属性敏感。
• 开发一种统一框架，更稳健地结合内容与链接信息用于社区检测。
• 显式建模节点流行度作为影响链接形成的关键因素，而不仅限于社区归属。
• 基于内容使用判别模型进行社区分配，降低对非社区相关属性的敏感性。
• 通过近似推断算法实现高效的贝叶斯推断，以支持大规模网络的社区检测。

提出的方法

• 提出一种新型链接模型，将节点流行度作为隐变量引入，以更好地解释仅靠社区归属无法解释的链接形成机制。
• 使用判别模型（如逻辑回归或类似方法）基于节点内容预测社区归属，提升对无关属性的鲁棒性。
• 采用贝叶斯层次模型，联合推断社区归属、节点流行度与内容-主题关系。
• 应用变分推断实现近似贝叶斯推断，使框架可扩展至大规模网络。
• 使用主题模型（如LDA类）建模内容，但通过判别分类器将社区分配条件化于内容。
• 采用联合生成-判别方法：生成模型用于链接与主题建模，判别模型用于从内容中推断社区归属。

实验结果

研究问题

• RQ1 如何显式建模节点流行度，以在仅依赖社区归属之外进一步提升链接预测与社区检测性能？
• RQ2 与纯生成性内容模型相比，使用判别模型从内容中进行社区分配在多大程度上提升了鲁棒性？
• RQ3 结合生成与判别组件的混合贝叶斯框架是否能超越现有最先进方法在社区检测中的表现？
• RQ4 内容与链接信息的整合如何影响检测到的社区的准确性与稳定性？
• RQ5 所提出的近似贝叶斯推断算法在真实网络上的可扩展性与推断效率如何？

主要发现

• 所提出的框架在社区检测中相比结合内容与链接的最先进方法实现了更高的准确性。
• 在链接模型中引入节点流行度显著提升了链接预测性能与社区结构恢复能力。
• 判别性内容模型降低了对非社区相关属性的敏感性，增强了模型鲁棒性。
• 近似推断算法实现了大规模网络上的高效计算，使该框架具备实际应用可行性。
• 在真实数据集上的实证评估显示，该方法在多种指标（包括标准化互信息与调整兰德指数）上均表现出一致的性能提升。