[论文解读] A Poisson Gamma Probabilistic Model for Latent Node-group Memberships in Dynamic Networks

Sikun Yang, Heinz Koeppl|arXiv (Cornell University)|May 28, 2018

Complex Network Analysis Techniques参考文献 24被引用 13

一句话总结

该论文提出了一种用于时变网络中潜在节点-群组隶属关系的动态泊松-伽马模型，通过马氏链演化且服从伽马分布的隶属关系，并采用高效的批量和在线吉布斯采样进行推断。该方法与非零边数呈线性可扩展性，在合成数据和真实世界数据上的链接预测与群组检测任务中优于最先进模型，同时通过收缩机制自动推断最优群组数量。

ABSTRACT

We present a probabilistic model for learning from dynamic relational data, wherein the observed interactions among networked nodes are modeled via the Bernoulli Poisson link function, and the underlying network structure are characterized by nonnegative latent node-group memberships, which are assumed to be gamma distributed. The latent memberships evolve according to Markov processes. The optimal number of latent groups can be determined by data itself. The computational complexity of our method scales with the number of non-zero links, which makes it scalable to large sparse dynamic relational data. We present batch and online Gibbs sampling algorithms to perform model inference. Finally, we demonstrate the model's performance on both synthetic and real-world datasets compared to state-of-the-art methods.

研究动机与目标

• 对时变网络中随时间变化的节点-群组隶属关系的动态演化进行建模。
• 开发一种计算高效的推断方法，其计算复杂度与非零边数成比例而非所有节点对，从而支持大规模稀疏网络分析。
• 允许非负且连续的节点-群组隶属强度，以反映对多个群组不同程度的隶属关系。
• 通过伽马先验结构中的收缩机制，自动从数据中推断潜在群组的最优数量。
• 通过显式建模隶属关系的时间演化，提升时变网络中的链接预测与社区检测性能。

提出的方法

• 潜在节点-群组隶属关系被建模为通过伽马马氏链随时间演化的伽马分布随机变量，确保非负性与时间平滑性。
• 伯努利-泊松链接函数将观测到的二值边映射为潜在的泊松计数，将计算成本降低至与非零边数成比例，而非与N²成比例。
• 群组间交互权重通过层次化结构建模，使用伽马分布的群组权重和交互参数，并为组内与组间链接分别设置先验。
• 通过数据增强与边际化技术实现高效的吉布斯采样以进行后验推断，支持批量和在线两种变体以实现可扩展性。
• 在群组权重上使用具有收缩效应的先验，使冗余群组在K增大时能被自动剔除。
• 在线吉布斯采样器以小批量方式处理数据，支持在大规模稀疏时变网络上进行实时或流式推断。

实验结果

研究问题

• RQ1 概率模型能否有效捕捉时变网络中节点-群组隶属关系的时间演化？
• RQ2 如何将潜在群组隶属关系建模为反映不同程度隶属关系的连续非负值？
• RQ3 能否从数据中自动推断潜在群组的数量而无需人工调参？
• RQ4 具有吉布斯采样的泊松-伽马模型是否在时变网络的链接预测与社区检测中优于现有方法？
• RQ5 能否将计算成本降低至与非零边数成比例，而非所有可能的节点对？

主要发现

• 在Enron数据集上，DPGM模型在AUC-ROC（0.983 ± 0.001）和AUC-PR（0.398 ± 0.006）两项指标上均达到最高，优于DRIFT、D-GPPF和HGP-EPM。
• 在NIPS数据集上，DPGM模型取得AUC-ROC为0.930 ± 0.002和AUC-PR为0.129 ± 0.004，各项指标表现强劲。
• 在线吉布斯采样器在NIPS 70数据集上的每轮迭代计算时间缩短至0.1283秒，显著快于DRIFT（11.7秒），且与D-GPPF相比具有竞争力。
• 该模型在合成数据上成功捕捉了群组的动态变化（如分裂与合并），并实现了随时间平滑且准确的节点-群组隶属关系演化。
• 收缩机制有效减少了冗余群组，即使初始设定K=50，也证实了自动群组数量推断的有效性。
• DPGM通过显式建模隶属关系的时间演化，优于静态模型HGP-EPM，证明了动态建模在链接预测中的重要性。