[论文解读] Inductive Representation Learning in Large Attributed Graphs

Nesreen K. Ahmed, Ryan A. Rossi+5 more|arXiv (Cornell University)|Oct 25, 2017

Advanced Graph Neural Networks参考文献 11被引用 21

一句话总结

本文提出了一种新颖的归纳式框架，用于大规模属性图中的表示学习，通过使用学习函数 φ 将基于身份的随机游走替换为基于属性的类型映射。该方法实现了空间高效、归纳式的节点嵌入，能够泛化到未见节点和图结构，在跨多样化数据集的链接预测任务中，平均性能优于现有方法 16.1%。

ABSTRACT

Graphs (networks) are ubiquitous and allow us to model entities (nodes) and the dependencies (edges) between them. Learning a useful feature representation from graph data lies at the heart and success of many machine learning tasks such as classification, anomaly detection, link prediction, among many others. Many existing techniques use random walks as a basis for learning features or estimating the parameters of a graph model for a downstream prediction task. Examples include recent node embedding methods such as DeepWalk, node2vec, as well as graph-based deep learning algorithms. However, the simple random walk used by these methods is fundamentally tied to the identity of the node. This has three main disadvantages. First, these approaches are inherently transductive and do not generalize to unseen nodes and other graphs. Second, they are not space-efficient as a feature vector is learned for each node which is impractical for large graphs. Third, most of these approaches lack support for attributed graphs. To make these methods more generally applicable, we propose a framework for inductive network representation learning based on the notion of attributed random walk that is not tied to node identity and is instead based on learning a function $Φ: \mathrm{ m \bf x} ightarrow w$ that maps a node attribute vector $\mathrm{ m \bf x}$ to a type $w$. This framework serves as a basis for generalizing existing methods such as DeepWalk, node2vec, and many other previous methods that leverage traditional random walks.

研究动机与目标

• 解决大规模图表示学习中，基于归纳性、依赖身份的随机游走方法的局限性。
• 实现可泛化到未见节点和新图的归纳式表示学习。
• 通过将节点特征整合到随机游走过程中，支持属性图。
• 提升大规模图应用中的空间效率与可扩展性。
• 将现有基于随机游走的方法（例如 DeepWalk、node2vec）推广至归纳式与属性图设置中。

提出的方法

• 学习一个函数 φ: x → w，将节点属性向量映射到离散类型，从而将表示学习与节点身份解耦。
• 通过使用节点类型而非节点身份来遍历图，生成属性随机游走。
• 将属性游走 S 定义为沿边 E 中相邻节点的节点类型序列 φ(x_i1), φ(x_i2), ..., φ(x_iL+1)。
• 在节点类型序列上使用 Skip-Gram 模型，学习类型级别的嵌入，而非节点级别的嵌入。
• 将结构特征与属性特征（例如图模式、关系特征）作为类型映射函数 φ 的输入。
• 通过在类型级别表示上进行训练，确保归纳能力，从而在无需重新训练的情况下实现对新节点和图的推理。

实验结果

研究问题

• RQ1 我们能否将基于归纳性随机游走的图嵌入方法推广为归纳式，并实现对大规模图的可扩展性？
• RQ2 我们如何将节点属性整合到随机游走过程中，以提升表示质量？
• RQ3 所提出的框架在保持或提升预测性能的同时，能在多大程度上减少内存使用？
• RQ4 该框架是否能通过学习可泛化的类型嵌入，支持跨网络与跨时间的预测任务？
• RQ5 该方法在属性图与非属性图中，相对于原始方法是否保持或提升性能？

主要发现

• 与现有基于节点级别的嵌入方法相比，所提出框架的内存使用量最高可减少 853 倍。
• 在来自生物、社交网络与信息系统等多样图数据集上，该方法在链接预测 AUC 上实现了平均 16.1% 的性能提升。
• 在 fb-Yale4 图上，该方法实现了 0.998 的链接预测 AUC，优于 node2vec（0.997）与 DeepWalk（0.996）。
• 在 soc-anybeat 网络上，该方法的 AUC 达到 0.961，优于所有基线方法，显著高于 node2vec 的 0.854。
• 该框架天然支持归纳性任务，如跨时间的链接预测与动态网络分类。
• 该方法在保证性能不低于原始方法的前提下运行，因为当 φ 将每个节点映射到唯一类型时，其可恢复为原始方法的特例。