[论文解读] Adapting the Stochastic Block Model to Edge-Weighted Networks

Christopher Aicher, Abigail Z. Jacobs+1 more|arXiv (Cornell University)|May 24, 2013

Statistical Methods and Inference参考文献 15被引用 53

一句话总结

本文提出加权随机块模型（WSBM），一种贝叶斯变分推断方法，通过使用指数族分布对边权进行建模，将经典随机块模型推广至加权网络。该方法在高方差或权重分布重叠的情况下，通过保留加权数据中的潜在块结构，优于基于阈值的SBM应用。

ABSTRACT

We generalize the stochastic block model to the important case in which edges are annotated with weights drawn from an exponential family distribution. This generalization introduces several technical difficulties for model estimation, which we solve using a Bayesian approach. We introduce a variational algorithm that efficiently approximates the model's posterior distribution for dense graphs. In specific numerical experiments on edge-weighted networks, this weighted stochastic block model outperforms the common approach of first applying a single threshold to all weights and then applying the classic stochastic block model, which can obscure latent block structure in networks. This model will enable the recovery of latent structure in a broader range of network data than was previously possible.

研究动机与目标

• 解决经典随机块模型（SBM）要求边为二值化的问题，该问题常因对连续边权进行阈值化处理而导致信息丢失。
• 构建一个原则性的概率框架，直接对来自指数族分布的边权进行建模，从而实现对潜在社区结构更准确的恢复。
• 通过采用适用于密集图的贝叶斯变分推断方法，解决加权网络参数估计中的技术挑战。
• 证明使用完整权重信息可提升性能，尤其在块特定权重分布重叠或方差显著差异时，优于阈值化策略。
• 为现实世界网络中边权携带关键结构信息的社区检测提供一种可扩展且鲁棒的方法。

提出的方法

• 将随机块模型推广至允许来自指数族分布（如正态分布、泊松分布）的边权，实现对连续边权的直接建模，无需阈值化处理。
• 定义加权随机块模型（WSBM），其中每对块具有来自指数族的独立参数向量 θr，以捕捉块间分布差异。
• 使用变分贝叶斯算法近似潜在块分配 z 和边簇参数 θ 的后验分布，实现在密集图上的高效推断。
• 采用平均场近似分离潜在变量与参数，通过坐标上升法迭代优化变分参数。
• 使用Kullback-Leibler散度（VI）作为近似质量的度量，确保变分后验尽可能接近真实后验。
• 使用贝叶斯因子进行模型选择，以确定最优块数，避免在 k > k* 时发生过拟合。

实验结果

研究问题

• RQ1 广义随机块模型能否在不阈值化边权的情况下，有效恢复边加权网络中的潜在块结构？
• RQ2 当边权分布重叠或高度可变时，WSBM 与阈值化SBM应用相比性能如何？
• RQ3 在 WSBM 中使用完整权重信息是否能带来比忽略权重大小的方法更准确、更鲁棒的社区检测？
• RQ4 当真实块数未知或推断块数超过真实块数时，WSBM 如何处理模型选择问题？
• RQ5 WSBM 在边权携带功能或关系意义的网络中，能在多大程度上保持结构信息？

主要发现

• WSBM 在所有测试条件下均显著优于基于阈值的SBM应用，尤其在边权方差较高或分布重叠时表现更优。
• 当边权分布良好分离时，WSBM 在 k = 5 = k* 时能准确恢复真实块结构，而阈值化SBM因阈值通过概率相似而无法区分各块。
• 当 k > k* 时，WSBM 仍保持强性能，通过避免过拟合而表现稳健，而阈值化SBM则出现欠拟合且性能显著下降。
• 在高方差条件下，k-means 和层次聚类因依赖块内结构且对噪声敏感而表现欠佳，而WSBM通过利用完整权重信息实现更优性能。
• 变分贝叶斯算法实现了在密集图上的高效后验近似，且贝叶斯因子能可靠选择正确块数，证实了该模型对模型复杂度的鲁棒性。