[论文解读] Revisiting Graph Neural Networks for Link Prediction

Muhan Zhang, Li Pan+3 more|arXiv (Cornell University)|May 4, 2021

Advanced Graph Neural Networks参考文献 26被引用 46

一句话总结

本文重新审视图神经网络在链接预测中的应用，表明通过SEAL框架从正确标注的子图中学习，可获得比单纯聚合节点嵌入（如GAE方法）更具表现力和泛化能力的链接表征。在大规模OGB数据集上，SEAL相较于GAE方法的性能提升最高达195%，并在4个基准中的3个上取得了新的最先进结果。

ABSTRACT

Graph neural networks (GNNs) have achieved great success in recent years. Three most common applications include node classification, link prediction, and graph classification. While there is rich literature on node classification and graph classification, GNNs for link prediction is relatively less studied and less understood. Two representative classes of methods exist: GAE and SEAL. GAE (Graph Autoencoder) first uses a GNN to learn node embeddings for all nodes, and then aggregates the embeddings of the source and target nodes as their link representation. SEAL extracts a subgraph around the source and target nodes, labels the nodes in the subgraph, and then uses a GNN to learn a link representation from the labeled subgraph. In this paper, we thoroughly discuss the differences between these two classes of methods, and conclude that simply aggregating extit{node} embeddings does not lead to effective extit{link} representations, while learning from extit{properly labeled subgraphs} around links provides highly expressive and generalizable link representations. Experiments on the recent large-scale OGB link prediction datasets show that SEAL has up to 195\% performance gains over GAE methods, achieving new state-of-the-art results on 3 out of 4 datasets.

研究动机与目标

• 探究为何图神经网络在链接预测任务中仍远少于节点分类和图分类任务被研究。
• 分析GAE与SEAL两类主流图神经网络链接预测方法之间的根本差异。
• 评估仅通过节点嵌入聚合是否能产生有效的链接表征，还是子图级别的学习更具优势。
• 在经验与概念层面建立GAE与SEAL的清晰对比，强调子图结构与标注的重要性。

提出的方法

• SEAL通过在源节点和目标节点周围提取k跳邻域，为每个目标链接构建一个中心化的子图。
• 通过为源节点和目标节点分配唯一标签，保留结构信息并支持图神经网络学习。
• 图神经网络处理标注后的子图，生成同时捕捉局部拓扑结构与节点身份的链接表征。
• 利用学习到的链接表征进行二分类，以预测链接是否存在。
• 该方法利用子图结构带来的归纳偏置，提升了对节点级嵌入的泛化能力。
• 与直接聚合节点嵌入的GAE不同，SEAL通过结构化、标注的子图学习，生成更具表现力的链接表征。

实验结果

研究问题

• RQ1 尽管在节点分类和图分类任务中已取得成功，为何图神经网络在链接预测任务中仍被研究得较少？
• RQ2 GAE与SEAL在捕捉链接级信息方面的表征能力有何本质区别？
• RQ3 仅通过聚合节点嵌入是否能产生有效的链接表征，还是子图级别的学习更具优势？
• RQ4 在大规模数据集上，子图标注与结构归纳偏置在多大程度上提升了链接预测性能？

主要发现

• 在OGB链接预测基准数据集上，SEAL相较于GAE方法的性能最高提升达195%。
• SEAL在4个OGB链接预测数据集中的3个上取得了新的最先进结果，展现出更强的泛化能力。
• 单纯聚合节点嵌入（如GAE方法）无法生成具有表现力的链接表征，相较而言，从正确标注的子图中学习更具优势。
• 使用k跳子图并结合节点标注，使图神经网络能够捕捉链接预测所必需的更丰富结构模式。
• 由于依赖局部拓扑的归纳偏置，SEAL的子图基础方法在未见链接上泛化能力更强。
• 结果证实，子图级别的学习在链接预测任务中从根本上比节点嵌入聚合更有效。