[论文解读] A Framework for Generalizing Graph-based Representation Learning Methods

Nesreen K. Ahmed, Ryan A. Rossi+5 more|arXiv (Cornell University)|Sep 14, 2017

Advanced Graph Neural Networks参考文献 47被引用 16

一句话总结

本文提出了一种通过引入属性随机游走来泛化基于图的表征学习的框架，该方法用基于节点属性类型的游走替代了依赖于节点身份的随机游走。通过学习节点类型的嵌入而非单个节点的嵌入，该方法实现了归纳性、空间高效且可迁移的表征，在相比现有方法减少853倍内存使用的同时，实现了平均16.1%的AUC提升。

ABSTRACT

Random walks are at the heart of many existing deep learning algorithms for graph data. However, such algorithms have many limitations that arise from the use of random walks, e.g., the features resulting from these methods are unable to transfer to new nodes and graphs as they are tied to node identity. In this work, we introduce the notion of attributed random walks which serves as a basis for generalizing existing methods such as DeepWalk, node2vec, and many others that leverage random walks. Our proposed framework enables these methods to be more widely applicable for both transductive and inductive learning as well as for use on graphs with attributes (if available). This is achieved by learning functions that generalize to new nodes and graphs. We show that our proposed framework is effective with an average AUC improvement of 16.1% while requiring on average 853 times less space than existing methods on a variety of graphs from several domains.

研究动机与目标

• 为解决现有基于随机游走的图表征学习方法存在的局限性，这些方法是归纳性的且无法泛化到未见节点或图上。
• 通过基于类型的抽象将节点嵌入与节点身份解耦，实现归纳性表征学习。
• 通过将节点特征整合到随机游走过程中，支持属性图，提升模型的灵活性和适用性。
• 通过学习类型而非单个节点的嵌入，显著降低内存使用，实现对大规模图的可扩展性。
• 在统一框架下推广并泛化现有方法（如DeepWalk和node2vec），支持迁移学习和属性数据。

提出的方法

• 引入一个函数Φ，将节点属性向量映射到离散类型，从而实现基于类型的随机游走而非基于节点的游走。
• 通过记录游走过程中访问的类型序列，而非节点序列，构建属性随机游走。
• 使用skip-gram模型在属性游走序列上学习每个类型的低维嵌入，类似于word2vec。
• 利用学习到的类型嵌入，通过将每个节点的属性映射到其对应类型嵌入，生成归纳性节点表征。
• 通过将表征学习与节点身份解耦，同时支持归纳性和归纳性学习。
• 在无输入属性时，从图结构中推导出节点属性，从而实现广泛适用性。

实验结果

研究问题

• RQ1 基于随机游走的图表征学习能否被泛化以支持跨图的归纳学习和迁移学习？
• RQ2 如何将节点属性整合到随机游走过程中，以提升泛化能力和表征质量？
• RQ3 与节点级嵌入相比，基于类型的嵌入在多大程度上能减少内存使用，同时保持或提升性能？
• RQ4 所提出的框架能否泛化现有方法（如DeepWalk和node2vec），同时支持属性图和未见节点？
• RQ5 该框架在具有不同结构和属性可用性的多样化真实世界图数据集上是否具有鲁棒性和有效性？

主要发现

• 与基线方法相比，所提出框架在多个图数据集上实现了平均16.1%的AUC提升。
• 与节点级嵌入方法相比，该方法平均将内存使用减少853倍，从而实现了对大规模图的可扩展性。
• 该框架支持归纳性学习，可为之前未见过的节点和图生成嵌入。
• 通过将节点特征整合到随机游走过程中，该方法自然支持属性图，增强了模型的表达能力。
• 该框架泛化了现有方法（如DeepWalk和node2vec），当每个节点被视为其自身类型时，可将其恢复为特例。
• 该方法在保持或提升性能的同时，支持跨网络链接预测和分类等迁移学习任务。