[论文解读] HONEM: Network Embedding Using Higher-Order Patterns in Sequential Data.

Mandana Saebi, Giovanni Luca Ciampaglia+2 more|arXiv (Cornell University)|Aug 15, 2019

Advanced Graph Neural Networks参考文献 20被引用 4

一句话总结

HONEM 提出了一种新颖的网络嵌入方法，通过构建高阶邻域矩阵，捕捉网络数据中的高阶时间依赖性和序列依赖性，克服了现有方法中一阶马尔可夫假设的局限性。该方法在节点分类、链接预测、网络重构和可视化任务中均优于最先进方法，通过建模复杂且长距离的交互模式实现了性能提升。

ABSTRACT

Representation learning offers a powerful alternative to the oft painstaking process of manual feature engineering, and as a result, has enjoyed considerable success in recent years. This success is especially striking in the context of graph mining, since networks can take advantage of vast troves of sequential data to encode information about interactions between entities of interest. But how do we learn embeddings on networks that have higher-order and sequential dependencies? Existing network embedding methods naively assume the Markovian property (first-order dependency) for node interactions, which may not capture the time-dependent and longer-range underlying complex interactions of the raw data. To address the limitation of current methods, we propose a network embedding method for higher-order networks (HON). We demonstrate that the higher-order network embedding (HONEM) method is able to extract higher-order dependencies from HON to construct the higher-order neighborhood matrix of the network, while existing methods are not able to capture these higher-order dependencies. We show that our method outperforms other state-of-the-art methods in node classification, network reconstruction, link prediction, and visualization.

研究动机与目标

• 解决现有网络嵌入方法在节点交互中假设一阶马尔可夫依赖关系的局限性。
• 建模现有方法常忽略的序列网络数据中的高阶和时变依赖关系。
• 开发一种能够从原始序列数据中提取复杂长距离交互模式的方法。
• 通过利用高阶结构提升下游任务（如节点分类、链接预测和网络重构）的性能。
• 通过构建高阶邻域矩阵，提供更准确的网络动态表示。

提出的方法

• HONEM 通过分析网络中节点之间的序列交互模式，构建高阶邻域矩阵。
• 通过捕捉多步交互序列而非依赖于即时邻居关系，建模高阶依赖关系。
• 该方法将原始序列数据转换为编码复杂时间依赖关系的高阶网络（HON）结构。
• 在高阶邻域矩阵上采用矩阵分解方法，学习低维节点嵌入。
• 嵌入学习过程保留了网络交互历史中的结构信息和序列信息。
• 该框架设计为与标准下游任务（如节点分类和链接预测）兼容。

实验结果

研究问题

• RQ1 能否有效捕捉序列网络数据中的高阶依赖关系，以提升网络嵌入质量？
• RQ2 建模长距离交互模式对节点分类和链接预测任务的性能有何影响？
• RQ3 HONEM 在网络重构和可视化方面相较于一阶方法的优越程度如何？
• RQ4 高阶邻域矩阵表示能否更好地反映现实世界序列网络的真实动态？
• RQ5 序列交互模式对所学嵌入整体表征能力的贡献有多大？

主要发现

• HONEM 有效捕捉了现有方法无法建模的一阶方法所忽略的序列网络数据中的高阶依赖关系。
• 在序列网络数据集上，该方法在节点分类任务中性能优于最先进基线方法。
• HONEM 通过利用超越即时邻居的长距离交互模式，显著提升了链接预测的准确性。
• 网络重构任务表明，HONEM 比现有方法更有效地保留了结构和序列信息。
• HONEM 嵌入的可视化结果揭示了更清晰、更具语义意义的聚类结构，表明其表征能力更优。
• 高阶邻域矩阵的构建使低维节点嵌入更具准确性和信息量。