[论文解读] EPNE: Evolutionary Pattern Preserving Network Embedding

Junshan Wang, Yilun Jin+2 more|arXiv (Cornell University)|Sep 24, 2020

Complex Network Analysis Techniques参考文献 28被引用 6

一句话总结

EPNE 是一种时间网络嵌入模型，通过使用因果卷积在时频域中建模节点局部结构，同时保留静态网络结构和演化模式（包括周期性和非周期性模式）。它联合优化结构目标与时间目标，在 AMiner 和 DBLP 等真实网络上的节点分类和边分类任务中，优于当前最先进方法。

ABSTRACT

Information networks are ubiquitous and are ideal for modeling relational data. Networks being sparse and irregular, network embedding algorithms have caught the attention of many researchers, who came up with numerous embeddings algorithms in static networks. Yet in real life, networks constantly evolve over time. Hence, evolutionary patterns, namely how nodes develop itself over time, would serve as a powerful complement to static structures in embedding networks, on which relatively few works focus. In this paper, we propose EPNE, a temporal network embedding model preserving evolutionary patterns of the local structure of nodes. In particular, we analyze evolutionary patterns with and without periodicity and design strategies correspondingly to model such patterns in time-frequency domains based on causal convolutions. In addition, we propose a temporal objective function which is optimized simultaneously with proximity ones such that both temporal and structural information are preserved. With the adequate modeling of temporal information, our model is able to outperform other competitive methods in various prediction tasks.

研究动机与目标

• 为解决在动态网络中建模复杂、演化的节点行为时，现有方法仅依赖静态结构邻近性的不足。
• 捕捉节点局部结构随时间演变的周期性与非周期性演化模式。
• 在统一的嵌入空间中联合优化结构邻近性与时间演化模式。
• 通过整合时间动态信息到网络表示学习中，提升节点与边分类性能。

提出的方法

• 该模型通过因果卷积神经网络，利用时频分析将节点演化模式分解为周期性与非周期性分量。
• 学习节点局部结构的时频表示，以捕捉多尺度时间动态，包括复杂周期性与单调趋势。
• 引入时间目标函数，以在嵌入空间中保留学习到的演化模式，与标准邻近性目标联合优化。
• 模型使用平滑性项来对齐不同时步的表示，确保时间一致性。
• 引入历史长度超参数以控制时间上下文窗口，在 AMiner 上观察到 h=12 个时间步（48 年）时性能最佳。
• 采用结构目标与时间目标的加权组合，最优平衡点位于 α≈1 处。

实验结果

研究问题

• RQ1 如何在动态网络嵌入中有效建模演化模式（包括周期性与非周期性）？
• RQ2 联合优化结构目标与时间目标是否能相比单独学习提升表示质量？
• RQ3 不同类型的时序特征（周期性 vs. 非周期性）对下游预测任务有何影响？
• RQ4 历史长度、时间权重和尺度数量等超参数如何影响模型性能？
• RQ5 EPNE 是否能在聚类与分类任务上优于静态及现有动态网络嵌入模型？

主要发现

• 在 AMiner 上的边分类任务中，EPNE 优于 DeepWalk、DynamicTriad 和 HTNE，完整模型（EPNE）达到最高性能。
• 消融实验表明，同时使用周期性与非周期性时间特征的效果优于单独使用任一类型，其中 EPNE-f（仅周期性）优于 EPNE-t（仅非周期性）。
• 平滑性项显著提升性能，EPNE-no-smooth（β=0）准确率明显下降，证实其在时间对齐中的关键作用。
• 在历史长度 h=12 个时间步（48 年）时达到最优性能，超过该值后性能因信息过时而下降。
• 适度的时间权重 α≈1 能在结构与时间目标间取得最佳平衡，极端值（过小或过大）均导致性能下降。
• 增加尺度数量 L 可提升性能，L 越高，对多尺度时间模式的表征能力越强。