[论文解读] Models for Capturing Temporal Smoothness in Evolving Networks for Learning Latent Representation of Nodes

Tanay Kumar Saha, Thomas J. Williams+3 more|arXiv (Cornell University)|Apr 16, 2018

Advanced Graph Neural Networks参考文献 24被引用 11

一句话总结

本文提出了两种新颖的模型——基于微调和线性变换的模型，用于在演化网络中学习时间感知的节点表示。通过利用微调实现局部时间平滑性，通过线性变换算子实现全局平滑性，这些模型在9个真实世界的动态网络中实现了准确的时间链接预测，显著优于最先进方法，在AUC、AUPRC和NDCG指标上均有显著提升。

ABSTRACT

In a dynamic network, the neighborhood of the vertices evolve across different temporal snapshots of the network. Accurate modeling of this temporal evolution can help solve complex tasks involving real-life social and interaction networks. However, existing models for learning latent representation are inadequate for obtaining the representation vectors of the vertices for different time-stamps of a dynamic network in a meaningful way. In this paper, we propose latent representation learning models for dynamic networks which overcome the above limitation by considering two different kinds of temporal smoothness: (i) retrofitted, and (ii) linear transformation. The retrofitted model tracks the representation vector of a vertex over time, facilitating vertex-based temporal analysis of a network. On the other hand, linear transformation based model provides a smooth transition operator which maps the representation vectors of all vertices from one temporal snapshot to the next (unobserved) snapshot-this facilitates prediction of the state of a network in a future time-stamp. We validate the performance of our proposed models by employing them for solving the temporal link prediction task. Experiments on 9 real-life networks from various domains validate that the proposed models are significantly better than the existing models for predicting the dynamics of an evolving network.

研究动机与目标

• 解决现有静态网络嵌入模型忽略时间演化、无法提供可解释且时间一致的节点表示的局限性。
• 通过基于微调的平滑方法追踪节点表示随时间的演化，实现有意义的基于顶点的时间分析。
• 通过学习时间快照之间的平滑转换算子，支持未来网络状态预测。
• 通过捕捉局部（节点级）和全局（网络级）时间平滑性，提升时间链接预测性能。
• 在多种评估指标下，验证所提模型在多样化真实世界动态网络中的有效性。

提出的方法

• 微调模型通过在时间步上迭代优化节点嵌入，强制实现时间平滑性，确保每个节点的表示随时间平滑演化。
• 线性变换模型学习一个全局变换矩阵，将节点嵌入从一个时间快照映射到下一个时间快照，从而实现未来网络状态的预测。
• 两种模型均以预训练的静态嵌入（如Node2Vec、LINE、PCA）作为初始化，随后应用时间平滑约束以优化表示。
• 模型通过联合目标端到端训练，平衡快照之间的拓扑邻近性和时间一致性。
• 通过正则化项强制实现时间平滑性，最小化连续节点表示或变换矩阵之间的距离。
• 该框架支持节点级和网络级时间平滑性，实现对动态网络演化灵活建模。

实验结果

研究问题

• RQ1 微调节点嵌入能否捕捉局部时间平滑性，并改善动态网络中的顶点级时间分析？
• RQ2 学习到的线性变换算子能否实现从当前嵌入准确预测未来网络状态？
• RQ3 在多样化的真实世界动态网络中，所提模型在时间链接预测方面与最先进方法相比表现如何？
• RQ4 潜在维度对所提模型性能有何影响？
• RQ5 模型在可视化和追踪网络结构随时间演化方面表现如何？

主要发现

• 在SMS-A数据集上，以Node2Vec作为初始生成器的微调模型在NDCG上相比BCGD提升了0.07个单位，表明在边与交互比例较高的数据集中表现强劲。
• 在Facebook数据集上，RET（Node2Vec）相比BCGD在AUC上提升了0.21个单位，在NDCG上提升了0.60个单位，表明在时间戳较少的网络中表现更优。
• 使用Node2Vec和指数平滑的HeterLT模型相比BCGD在AUPRC上提升了0.06，在NDCG上提升了0.13，表明对不同平滑策略具有鲁棒性。
• 当潜在维度从32增加到128时，性能保持稳定或略有提升，部分模型的NDCG仅出现约2个百分点的轻微下降，表明具有强大的泛化能力。
• 使用微调模型对Enron数据集的可视化显示，两个原本相距较远的节点在嵌入空间中逐渐靠近，随后形成边，证实了时间平滑性。
• 在全部9个数据集和所有三个指标（AUC、AUPRC、NDCG）上，模型均持续优于BCGD，且在大多数情况下具有统计显著的提升。