[论文解读] E-LSTM-D: A Deep Learning Framework for Dynamic Network Link Prediction

Jinyin Chen, Jian Zhang+5 more|arXiv (Cornell University)|Feb 22, 2019

Complex Network Analysis Techniques参考文献 35被引用 27

一句话总结

本文提出E-LSTM-D，一种新颖的端到端深度学习框架，采用编码器-解码器架构与堆叠的长短期记忆（LSTM）网络，用于预测动态网络链路。该方法可同时捕捉时间依赖性和结构特征，在多个真实世界动态网络数据集上实现了最先进性能，优于现有方法在AUC、GMAUC和误差率指标上的表现。

ABSTRACT

Predicting the potential relations between nodes in networks, known as link prediction, has long been a challenge in network science. However, most studies just focused on link prediction of static network, while real-world networks always evolve over time with the occurrence and vanishing of nodes and links. Dynamic network link prediction thus has been attracting more and more attention since it can better capture the evolution nature of networks, but still most algorithms fail to achieve satisfied prediction accuracy. Motivated by the excellent performance of Long Short-Term Memory (LSTM) in processing time series, in this paper, we propose a novel Encoder-LSTM-Decoder (E-LSTM-D) deep learning model to predict dynamic links end to end. It could handle long term prediction problems, and suits the networks of different scales with fine-tuned structure. To the best of our knowledge, it is the first time that LSTM, together with an encoder-decoder architecture, is applied to link prediction in dynamic networks. This new model is able to automatically learn structural and temporal features in a unified framework, which can predict the links that never appear in the network before. The extensive experiments show that our E-LSTM-D model significantly outperforms newly proposed dynamic network link prediction methods and obtain the state-of-the-art results.

研究动机与目标

• 为解决静态网络链路预测方法在捕捉现实网络时间演化方面的局限性。
• 开发一种端到端的深度学习框架，联合建模动态网络中的结构特征与时间特征。
• 提高对未来尚未出现链路的预测准确性。
• 有效处理高维、稀疏且非线性的网络演化模式。
• 提供统一模型，避免分离的表示学习与分类阶段。

提出的方法

• E-LSTM-D模型采用编码器-解码器架构，利用堆叠的长短期记忆（LSTM）网络处理网络快照序列。
• 编码器将历史网络快照压缩为上下文向量，以捕捉结构与时间信息。
• 解码器利用上下文向量在后续时间步重建网络，实现端到端链路预测。
• 在损失函数中引入惩罚系数β，以优先考虑现有链路并防止过拟合，从而提升收敛性与局部结构保持能力。
• 采用L2距离损失进行端到端训练，并通过自适应β平衡重建与泛化性能。
• 框架自动学习低维节点表示，以编码拓扑与时间动态信息。

实验结果

研究问题

• RQ1 端到端的深度学习模型能否有效捕捉动态网络中结构与时间动态的双重特征以实现链路预测？
• RQ2 采用堆叠LSTM的编码器-解码器架构与传统基于相似度或嵌入的方法相比，在动态链路预测中表现如何？
• RQ3 模型超参数（如历史快照长度与惩罚系数β）的最优配置是什么，以实现稳健性能？
• RQ4 所学习的潜在表示在支持下游任务（如节点分类）方面能达到何种程度？
• RQ5 模型复杂度（如编码器层数与单元数）如何影响预测准确率与泛化能力？

主要发现

• E-LSTM-D在多个数据集上均达到最先进性能，优于现有动态网络链路预测方法在AUC、GMAUC与误差率指标上的表现。
• 将历史快照数量从5增加到25可提升性能，最优结果出现在N=10个快照时，此后性能趋于平稳。
• 当惩罚系数β ∈ (1,2]时，泛化与收敛性之间达到最佳平衡，对AUC影响最小，但显著提升GMAUC与误差率表现。
• 增加一个额外的编码器层在GMAUC与AUC上带来微小增益，但降低误差率，表明存在复杂度与性能之间的权衡。
• 模型的潜在特征能有效捕捉全局与局部网络结构，表明其在其他网络分析任务中具有潜在应用价值。
• 该模型在多种网络类型中表现出强鲁棒性，包括社交网络（如Facebook、Enron）、引文网络（如Radoslaw、LKML）以及合作者网络。