[论文解读] HeteSpaceyWalk: A Heterogeneous Spacey Random Walk for Heterogeneous Information Network Embedding

Yu He, Yangqiu Song+4 more|arXiv (Cornell University)|Sep 7, 2019

Internet Traffic Analysis and Secure E-voting参考文献 42被引用 12

一句话总结

该论文提出 HeteSpaceyWalk，一种异质个性化空间式随机游走方法，通过将元路径引导的随机游走建模为高阶马尔可夫链，以改进平稳分布的近似。通过动态调整折叠元路径之间的转移，该方法实现了可扩展的、高效的节点嵌入，适用于异质信息网络，在减少游走长度的同时，时间复杂度与网络规模呈线性关系，优于当前最先进方法。

ABSTRACT

Heterogeneous information network (HIN) embedding has gained increasing interests recently. However, the current way of random-walk based HIN embedding methods have paid few attention to the higher-order Markov chain nature of meta-path guided random walks, especially to the stationarity issue. In this paper, we systematically formalize the meta-path guided random walk as a higher-order Markov chain process, and present a heterogeneous personalized spacey random walk to efficiently and effectively attain the expected stationary distribution among nodes. Then we propose a generalized scalable framework to leverage the heterogeneous personalized spacey random walk to learn embeddings for multiple types of nodes in an HIN guided by a meta-path, a meta-graph, and a meta-schema respectively. We conduct extensive experiments in several heterogeneous networks and demonstrate that our methods substantially outperform the existing state-of-the-art network embedding algorithms.

研究动机与目标

• 解决现有异质信息网络嵌入方法中对元路径引导随机游走的高阶马尔可夫链性质缺乏关注的问题。
• 改进异质网络随机游走中平稳分布近似的准确性，以实现更优的节点表征学习。
• 开发一种可扩展的框架，从元路径泛化至元图与元模式，实现灵活且有原则的嵌入学习。
• 实现高效、线性时间的嵌入学习，适用于大规模异质信息网络。

提出的方法

• 该论文将元路径引导的随机游走形式化为高阶马尔可夫链，认识到转移概率依赖于先前状态（例如，区分 APVPA 中的首个与第二个 'Paper'）。
• 提出 HeteSpaceyWalk，一种非马尔可夫空间式随机游走策略，支持跳过平凡转移，并动态平衡多个折叠元路径。
• 通过折叠原始元路径构建广义元图，将多种路径变体整合为统一的游走过程。
• 在游走过程中采用自适应概率机制，优先选择更具信息量或更频繁的元路径片段，提升探索效率。
• 该框架可扩展至元图与元模式，支持同时基于多种语义模式进行嵌入学习。
• 使用 Skipgram 模型在游走序列上学习节点嵌入，训练复杂度与节点数量呈线性关系，且可并行化处理，类似 word2vec。

实验结果

研究问题

• RQ1 如何形式化建模元路径引导随机游走的高阶马尔可夫链性质，以改进平稳分布近似？
• RQ2 空间式随机游走策略能否提升异质信息网络中邻域采样的效率与效果？
• RQ3 如何动态平衡并整合多个元路径至单一游走过程中，以提升嵌入质量？
• RQ4 所提方法是否能在保持或超越现有最先进 HIN 嵌入模型性能的同时，实现与网络规模呈线性关系的可扩展性？

主要发现

• HeteSpaceyWalk 在多个异质网络基准测试中表现优异，优于现有最先进 HIN 嵌入算法。
• 该方法实现更优结果所需游走步数更少、游走长度更短，表明采样效率显著提升。
• 所提框架在节点数量上表现出线性时间复杂度，使其可扩展至多达一千万个节点的网络。
• 在合成网络上的实验验证了随机游走与训练阶段的线性可扩展性，且在不同网络规模下性能保持一致。
• 游走过程中元路径概率的动态自适应调整，促进了对网络中语义有意义路径的更有效探索。