[论文解读] HONE: Higher-Order Network Embeddings

Ryan A. Rossi, Nesreen K. Ahmed+4 more|arXiv (Cornell University)|Jan 28, 2018

Advanced Graph Neural Networks参考文献 60被引用 14

一句话总结

HONE 提出了一种通用框架，通过利用网络基元（图子结构/orbits）来学习高阶网络嵌入，从而捕捉与节点邻近性无关的结构角色。通过构建基于基元的矩阵及其幂次，HONE 能够建模复杂的连通性模式，在多种网络上平均实现 19% 的 AUC 相对增益，优于依赖随机游走的方法，后者无法捕捉结构相似性。

ABSTRACT

This paper describes a general framework for learning Higher-Order Network Embeddings (HONE) from graph data based on network motifs. The HONE framework is highly expressive and flexible with many interchangeable components. The experimental results demonstrate the effectiveness of learning higher-order network representations. In all cases, HONE outperforms recent embedding methods that are unable to capture higher-order structures with a mean relative gain in AUC of $19\%$ (and up to $75\%$ gain) across a wide variety of networks and embedding methods.

研究动机与目标

• 解决基于随机游走的节点嵌入方法因依赖邻近性和节点身份而无法捕捉高阶结构角色的局限性。
• 将基于子图模式（网络基元）的高阶网络表征学习问题形式化，作为结构相似性的基础。
• 开发一种灵活、通用的框架，基于基元统计量和基元矩阵学习嵌入。
• 证明建模高阶连通性模式可提升下游任务（如链接预测）的性能。

提出的方法

• 针对集合 $\mathcal{H}$ 中的每个网络基元 $H_t$，构建加权基元图 $\mathbf{W}_t$，使用基元计数作为边权重。
• 采用基于基元的矩阵（如基元转移矩阵、基元拉普拉斯矩阵）及其幂次，以编码高阶连通性模式。
• 通过聚合来自多个基于基元的矩阵的信息来学习节点嵌入，从而在不依赖空间邻近性的情况下捕捉结构角色。
• 支持可互换的组件，允许灵活组合不同类型的基元和矩阵公式。
• 该框架通过分析 k 步基元模式，自然地估计未观测边的权重，从而增强链接预测性能。

实验结果

研究问题

• RQ1 能否有效利用网络基元所捕捉的高阶连通性模式来学习反映结构角色的节点嵌入？
• RQ2 通过基于基元的矩阵建模结构相似性，与基于邻近性的随机游走方法相比，在链接预测性能上表现如何？
• RQ3 HONE 框架在多种网络类型和应用领域中的泛化能力如何？
• RQ4 引入基元统计量及其幂次对节点嵌入的表达能力和性能产生何种影响？

主要发现

• HONE 在所有评估的网络和嵌入方法中，AUC 的平均相对增益达到 19%，在特定情况下增益最高达 75%。
• 该框架始终优于最先进基于随机游走的方法，后者因邻近性偏差而无法捕捉结构相似性。
• 通过 HONE 学习得到的嵌入能有效将具有相似结构角色的节点聚类，即使这些节点位于不同连通分量中或在图中相距甚远。
• 基于基元的矩阵的使用使框架能够隐式估计此前未观测到的边的权重，从而提升链接预测性能。