[论文解读] Dynamic Node Embeddings from Edge Streams

John Boaz Lee, Tien Giang Nguyen+4 more|arXiv (Cornell University)|Apr 12, 2019

Epigenetics and DNA Methylation参考文献 94被引用 7

一句话总结

该论文提出了连续时间动态网络嵌入（CTDNE），一种直接从边流中学习动态节点嵌入的框架，利用时间有效的随机游走，避免了静态快照近似方法的缺陷。通过在最细粒度上建模时间依赖性并具备在线流式处理能力，该方法在所有数据集上实现了平均11.9%的AUC提升。

ABSTRACT

Networks evolve continuously over time with the addition, deletion, and changing of links and nodes. Such temporal networks (or edge streams) consist of a sequence of timestamped edges and are seemingly ubiquitous. Despite the importance of accurately modeling the temporal information, most embedding methods ignore it entirely or approximate the temporal network using a sequence of static snapshot graphs. In this work, we propose using the notion of temporal walks for learning dynamic embeddings from temporal networks. Temporal walks capture the temporally valid interactions (e.g., flow of information, spread of disease) in the dynamic network in a lossless fashion. Based on the notion of temporal walks, we describe a general class of embeddings called continuous-time dynamic network embeddings (CTDNEs) that completely avoid the issues and problems that arise when approximating the temporal network as a sequence of static snapshot graphs. Unlike previous work, CTDNEs learn dynamic node embeddings directly from the temporal network at the finest temporal granularity and thus use only temporally valid information. As such CTDNEs naturally support online learning of the node embeddings in a streaming real-time fashion. Finally, the experiments demonstrate the effectiveness of this class of embedding methods that leverage temporal walks as it achieves an average gain in AUC of 11.9% across all methods and graphs.

研究动机与目标

• 解决现有节点嵌入方法忽略或不良近似网络中时间动态性的局限性。
• 开发一种框架，直接从连续边流中以最细粒度的时间分辨率学习动态节点嵌入。
• 通过利用时间有效的交互，实现在线增量学习，以支持实时应用。
• 避免将动态网络近似为离散静态快照时固有的信息丢失和无效序列问题。
• 通过引入时间感知游走，将现有基于随机游走的嵌入方法推广至动态网络。

提出的方法

• 该方法引入时间游走——尊重时间顺序且在时间上有效的边序列，确保不会出现从未来到过去的时间跳跃。
• 基于时间游走，提出一种连续时间动态网络嵌入（CTDNE）的一般性框架，支持均匀游走和加权游走。
• 该框架集成了时间加权和偏置函数，优先考虑近期和频繁的交互，提升时间相关性。
• 通过引入节点特征变换函数φ，支持带属性的时间游走，实现基于特征的游走采样。
• 该方法与Skip-Gram模型兼容，允许在Skip-Gram目标中使用加权时间游走进行表示学习。
• 该方法天然支持在线学习，可在新边实时到达时实现增量更新。

实验结果

研究问题

• RQ1 如何直接从边流中学习动态节点嵌入，而不将时间近似为离散快照？
• RQ2 使用时间有效游走对学习到的节点表示质量有何影响？
• RQ3 能否设计一种通用框架，以适应现有基于随机游走的嵌入方法用于动态网络？
• RQ4 时间加权和偏置机制如何影响动态节点嵌入的性能？
• RQ5 所提出方法在多大程度上支持实时应用中的在线流式学习？

主要发现

• CTDNE框架在所有评估数据集和方法上实现了平均11.9%的AUC提升。
• 通过使用时间有效游走，该方法避免了静态快照方法中因无效序列导致的性能下降。
• 该框架支持在线学习，可在新边流式到达时实现实时更新，适用于时间敏感型应用。
• 时间加权和偏置机制显著提升了表示质量，通过强调近期和频繁的交互。
• 该方法能很好地推广至现有嵌入技术，仅需极少修改即可将其适配于动态网络。
• 实验结果证实，以最细粒度从原始边流学习，可获得比快照近似方法更准确且时间一致性更强的嵌入。