[论文解读] Mixed membership stochastic blockmodels

Edoardo M. Airoldi, David M. Blei+2 more|arXiv (Cornell University)|May 30, 2007

Data Mining Algorithms and Applications参考文献 49被引用 786

一句话总结

本文提出了混合成员关系随机块模型（MMSB），一种概率潜在变量模型，通过允许网络中的每个节点同时属于多个潜在群体，扩展了传统的随机块模型。利用变分推断算法，MMSB 实现了在大规模关系网络上的快速、可扩展的推断，成功恢复了社交网络和蛋白质相互作用网络中的混合成员关系结构，更好地建模了多方面角色。

ABSTRACT

Observations consisting of measurements on relationships for pairs of objects arise in many settings, such as protein interaction and gene regulatory networks, collections of author-recipient email, and social networks. Analyzing such data with probabilisic models can be delicate because the simple exchangeability assumptions underlying many boilerplate models no longer hold. In this paper, we describe a latent variable model of such data called the mixed membership stochastic blockmodel. This model extends blockmodels for relational data to ones which capture mixed membership latent relational structure, thus providing an object-specific low-dimensional representation. We develop a general variational inference algorithm for fast approximate posterior inference. We explore applications to social and protein interaction networks.

研究动机与目标

• 解决传统随机块模型中单一群体成员关系的局限性，后者无法捕捉关系数据中的多方面角色。
• 开发一种灵活且可扩展的模型，允许每个节点属于多个潜在群体，反映现实世界中互动的复杂性。
• 通过变分推断算法实现在大规模网络上的快速近似推断，克服高维设置下 MCMC 方法的计算负担。
• 展示该模型在揭示真实社交网络和蛋白质相互作用网络中潜在群体结构方面的有效性。
• 提供一个通用框架，用于建模具有混合成员关系的关系数据，适用于社交网络和系统生物学等不同领域。

提出的方法

• 提出一种生成模型，其中每个节点在潜在群体中的成员关系由狄利克雷分布向量表示，从而支持混合成员关系。
• 将节点 p 和 q 之间发生互动的概率建模为双线性形式：$\vec{\pi}_p^T B \vec{\pi}_q$，其中 $B$ 是潜在群体之间互动概率的矩阵。
• 采用均值场变分推断算法，近似潜变量成员关系和群体间互动参数的后验分布。
• 使用可并行化的嵌套变分推断方案，实现在大规模网络上的高效计算。
• 引入针对互动的潜变量 $ (\vec{z}_{p\rightarrow q}, \vec{z}_{p\leftarrow q}) $，以保持可解释性，并支持预测与去噪。
• 通过层次狄利克雷过程支持非参数扩展，允许潜在群体数量未知且可能无限。

实验结果

研究问题

• RQ1 允许节点同时属于多个群体的潜在变量模型，是否能比单一群体成员关系模型更好地捕捉关系网络中复杂且多方面的角色？
• RQ2 在精确贝叶斯推断计算上不可行的背景下，如何实现在大规模真实世界网络上对这类模型的可扩展推断？
• RQ3 MMSB 模型在多大程度上能恢复社交网络和生物网络中的已知结构模式，例如修道院中的派系或蛋白质复合物？
• RQ4 在半监督设置下，包含关于成员关系的部分先验知识（例如基因到功能上下文的映射）会产生何种影响？
• RQ5 该模型能否生成具有现实结构特性的网络，如偏斜的度分布和枢纽节点？还是这些特征本质上受到限制？

主要发现

• MMSB 模型在合成网络和真实世界网络中均成功恢复了混合成员关系和潜在块结构，包括一个具有明确块结构的学生友谊网络。
• 该模型在蛋白质相互作用网络中识别出了有意义的潜在角色，揭示了与已知生物复合物一致的功能分组。
• 变分推断算法实现了在大规模网络上的快速、可扩展推断，使该模型在实际应用中具有可行性。
• 与单一群体块模型相比，该模型通过捕捉多方面角色（如一个蛋白质参与多个功能上下文）表现更优。
• 互动特定成员关系变量的后验分布携带可解释的信息，有助于预测、去噪以及识别成员关系中的生物学显著变化。
• 该模型在生成具有枢纽节点或高度偏斜的度分布的网络方面存在局限，表明在这些场景下需要进一步扩展。