[论文解读] Dynamic Network Model from Partial Observations

Elahe Ghalebi, Baharan Mirzasoleiman+2 more|arXiv (Cornell University)|May 27, 2018

Complex Network Analysis Techniques参考文献 26被引用 9

一句话总结

该论文提出 Dyference，一种非参数生成动态网络模型，通过部分级联扩散观测数据（特别是节点感染时间）使用耦合层次狄利克雷过程混合模型推断随时间变化的网络结构。该方法可实现在线推断演化社区结构与预测边概率（包括未观测或未来边），在真实世界和合成网络上的动态网络推断、扩散预测和破产预测任务中优于现有方法。

ABSTRACT

Can evolving networks be inferred and modeled without directly observing their nodes and edges? In many applications, the edges of a dynamic network might not be observed, but one can observe the dynamics of stochastic cascading processes (e.g., information diffusion, virus propagation) occurring over the unobserved network. While there have been efforts to infer networks based on such data, providing a generative probabilistic model that is able to identify the underlying time-varying network remains an open question. Here we consider the problem of inferring generative dynamic network models based on network cascade diffusion data. We propose a novel framework for providing a non-parametric dynamic network model--based on a mixture of coupled hierarchical Dirichlet processes-- based on data capturing cascade node infection times. Our approach allows us to infer the evolving community structure in networks and to obtain an explicit predictive distribution over the edges of the underlying network--including those that were not involved in transmission of any cascade, or are likely to appear in the future. We show the effectiveness of our approach using extensive experiments on synthetic as well as real-world networks.

研究动机与目标

• 解决仅能获得级联扩散部分观测数据（如感染时间）时，生成时变网络的生成概率模型这一开放问题。
• 开发一种框架，不仅推断可能存在的边，还可推断未观测或未来的边以及演化的社区结构。
• 在无需事先知晓网络结构或传播速率的前提下，提供在线、随时间变化的边概率估计。
• 仅基于感染时间数据，实现对动态网络中扩散级联和关键节点的准确预测。

提出的方法

• 利用耦合层次狄利克雷过程混合模型（MDND）对边交换性、非参数化动态网络进行建模，支持随时间演化的社区结构。
• 按时间区间处理级联扩散数据，从推断的扩散树中计算每条级联的边际边概率。
• 使用吉布斯采样器，基于采样边和更新后的边概率分布，迭代更新模型变量。
• 采用迭代推断循环：从级联数据更新边概率，重新估计扩散树分布，并优化模型参数，直至收敛。
• 可扩展至 MDND 之外的任意生成网络模型，支持潜在表示选择的灵活性。
• 通过在时间窗口内处理数据，支持在线推断，实现实时追踪网络演化。

实验结果

研究问题

• RQ1 能否仅从级联扩散的部分观测数据（如节点感染时间）构建动态网络的生成概率模型？
• RQ2 此类模型能否不仅推断可能存在的边，还可推断未观测或未来的边以及演化的社区结构？
• RQ3 当网络结构未知时，该模型在预测未来扩散级联和关键节点方面能达到多高的准确度？
• RQ4 在真实世界和合成网络上，该模型在预测准确度和计算效率方面与现有方法相比表现如何？

主要发现

• 在时变超链接网络和社交媒体网络上，Dyference 在在线动态网络推断任务中优于 InfoPath 和 NetRate，所有评估数据集的 F1 分数均更高。
• 在金融交易网络上，Dyference 在预测未来破产方面显著优于 InfoPath，2 年窗口内的 Map@k 和 Hits@k 指标均有提升。
• Dyference 的运行时间与 InfoPath 相当，但预测准确度始终更优，展现出良好的可扩展性与效率。
• 该模型仅基于感染时间即可成功预测 LinkedIn 上的关键网站，结果与基于已知网络结构的模型相当。
• 在扩散预测任务中，Dyference 在 Map@k 和 Hits@k 指标上表现优异，且无需事先知晓网络结构或传播速率。
• 该框架可准确追踪演化的社区结构，并对所有潜在边（包括未参与任何观测级联的边）提供显式的预测分布。