[论文解读] motif2vec: Motif Aware Node Representation Learning for Heterogeneous Networks

Manoj Reddy Dareddy, Mahashweta Das+1 more|arXiv (Cornell University)|Aug 22, 2019

Advanced Graph Neural Networks参考文献 31被引用 8

一句话总结

motif2vec 通过利用统计显著的网络基序，将原始图转换为基序图，提出了一种新颖的异质网络节点表示学习方法，支持保留异质性和高阶连通性的偏差随机游走。该方法在多种真实世界数据集上的节点分类和链接预测任务中，均优于当前最先进方法，有效捕捉了结构和语义关系。

ABSTRACT

Recent years have witnessed a surge of interest in machine learning on graphs and networks with applications ranging from vehicular network design to IoT traffic management to social network recommendations. Supervised machine learning tasks in networks such as node classification and link prediction require us to perform feature engineering that is known and agreed to be the key to success in applied machine learning. Research efforts dedicated to representation learning, especially representation learning using deep learning, has shown us ways to automatically learn relevant features from vast amounts of potentially noisy, raw data. However, most of the methods are not adequate to handle heterogeneous information networks which pretty much represents most real-world data today. The methods cannot preserve the structure and semantic of multiple types of nodes and links well enough, capture higher-order heterogeneous connectivity patterns, and ensure coverage of nodes for which representations are generated. We propose a novel efficient algorithm, motif2vec that learns node representations or embeddings for heterogeneous networks. Specifically, we leverage higher-order, recurring, and statistically significant network connectivity patterns in the form of motifs to transform the original graph to motif graph(s), conduct biased random walk to efficiently explore higher order neighborhoods, and then employ heterogeneous skip-gram model to generate the embeddings. Unlike previous efforts that uses different graph meta-structures to guide the random walk, we use graph motifs to transform the original network and preserve the heterogeneity. We evaluate the proposed algorithm on multiple real-world networks from diverse domains and against existing state-of-the-art methods on multi-class node classification and link prediction tasks, and demonstrate its consistent superiority over prior work.

研究动机与目标

• 为解决现有图嵌入方法在处理异质信息网络（HINs）时无法有效保留结构和语义异质性的局限性。
• 开发一种高效、无监督的表示学习框架，以捕捉 HIN 中超越简单路径或元结构的高阶连通性模式。
• 通过将重复出现且统计显著的网络基序编码为嵌入空间中的结构不变量，提升节点分类和链接预测性能。
• 在异质网络中保留多种节点类型和链接类型之间的局部与全局结构关系及语义关联。
• 提供一种可扩展且通用的方法，无需依赖预定义的元结构或任务特定启发式规则。

提出的方法

• 通过提取重复出现且统计显著的网络基序——即比随机网络中更频繁出现的小型连通子图——将原始异质网络转换为一个或多个基序图。
• 采用基于启发式的基序实例提取方法，从网络中识别并提取基序实例，使用显著性阈值过滤掉随机模式。
• 在基序图上执行偏差随机游走以探索高阶邻域，其中转移概率受基序结构引导，以保留语义和结构上下文。
• 使用异质 skip-gram 模型从随机游走序列中学习低维节点嵌入，以保留节点类型和基于基序的连通性模式。
• 将基序感知的游走偏差与 skip-gram 训练相结合，联合优化异质节点类型之间的结构接近性和语义一致性。
• 利用基序图作为结构抽象层，其编码的语义和拓扑信息比传统元结构（如元路径）更丰富。

实验结果

研究问题

• RQ1 与基于传统元结构的方法相比，基于基序的结构抽象是否能提升异质网络中的节点表示学习？
• RQ2 基序感知的随机游走能否有效保留异质网络中的局部与全局结构关系？
• RQ3 基序嵌入在多类别节点分类和链接预测任务中，相较于最先进方法，性能提升程度如何？
• RQ4 motif2vec 是否能在无需任务特定调优或预定义元结构的情况下，泛化于多种真实世界的异质网络？
• RQ5 使用统计显著的基序在多大程度上增强了学习到的节点表示的语义和结构保真度？

主要发现

• motif2vec 在多种真实世界异质网络中的多类别节点分类任务上，始终优于最先进方法，包括 metapath2vec 和 metagraph2vec。
• 该方法在链接预测准确率上实现显著提升，表明其对超越成对关系的高阶连通性模式建模能力更强。
• 基序图的使用有助于更好地保留结构和语义异质性，从而生成更具信息量和判别力的节点嵌入。
• 该算法具有高效可扩展性，大规模真实网络的端到端训练时间在 10 小时以内，其中大部分时间用于 word2vec 训练（7 小时 42 分钟）和基序提取（26 分钟）。
• 在具有复杂多类型交互的网络中，性能提升尤为显著，传统方法难以捕捉丰富的连通性语义。
• 消融实验证实，基于基序的转换和偏差随机游走是关键组件，移除任一都会导致性能显著下降。