[论文解读] Link Prediction Based on Graph Neural Networks

Muhan Zhang|arXiv (Cornell University)|Feb 27, 2018

Complex Network Analysis Techniques参考文献 46被引用 282

一句话总结

论文提出 SEAL，这是一种从局部包络子图中学习链接预测启发式方法的框架，利用 GNNs 支持的伽玛衰减理论将高阶启发式统一起来。

ABSTRACT

Link prediction is a key problem for network-structured data. Link prediction heuristics use some score functions, such as common neighbors and Katz index, to measure the likelihood of links. They have obtained wide practical uses due to their simplicity, interpretability, and for some of them, scalability. However, every heuristic has a strong assumption on when two nodes are likely to link, which limits their effectiveness on networks where these assumptions fail. In this regard, a more reasonable way should be learning a suitable heuristic from a given network instead of using predefined ones. By extracting a local subgraph around each target link, we aim to learn a function mapping the subgraph patterns to link existence, thus automatically learning a `heuristic' that suits the current network. In this paper, we study this heuristic learning paradigm for link prediction. First, we develop a novel $γ$-decaying heuristic theory. The theory unifies a wide range of heuristics in a single framework, and proves that all these heuristics can be well approximated from local subgraphs. Our results show that local subgraphs reserve rich information related to link existence. Second, based on the $γ$-decaying theory, we propose a new algorithm to learn heuristics from local subgraphs using a graph neural network (GNN). Its experimental results show unprecedented performance, working consistently well on a wide range of problems.

研究动机与目标

• 为链接预测超越预定义度量，学习一般的基于图结构的启发式方法。
• 证明局部包络子图包含足以近似高阶启发式的信息。
• 提出 SEAL，这是一个将子图、节点嵌入和属性整合以提升预测的基于 GNN 的框架。
• 通过伽玛衰减启发式理论提供理论依据，并在经验上证明相较基线的优越性。

提出的方法

• 围绕目标链接定义包络子图以捕捉局部结构。
• 证明伽玛衰减启发式理论，展示从 h-hop 子图近似的误差以指数级下降。
• 用图神经网络（GNN）替代 WLNM 的全连接网络，以从子图中学习。
• 结合三个节点特征组成部分：结构标签、节点嵌入和显式属性（通过 DRNL 标注和嵌入技巧）。
• 在生成节点嵌入时使用负样本注入以防止训练链接信息泄露。
• 在正负样本上训练 SEAL，使用子图的图级表示来预测链接是否存在。

实验结果

研究问题

• RQ1 局部的 h-hop 封闭子图能否充分捕获预测链接存在所需的信息，包括高阶效应？
• RQ2 伽玛衰减启发式是否为从局部子图近似常见高阶链接预测器提供一个统一且可证明的基础？
• RQ3 在多样网络上，SEAL 是否优于传统启发式、潜在特征方法和先前的有监督子图方法用于链接预测？
• RQ4 将潜在/显式特征与节点标注结合对 SEAL 的性能有何影响？

主要发现

• SEAL 在多个数据集上通常优于预定义启发式、WLK 和 WLNM。
• 采用 GNN 的 SEAL 在基于学习的方法中达到最先进的结果，超越了如 MF、SBM、N2V、LINE、SPC 和 VGAE 等潜在特征方法。
• 将节点嵌入与结构特征结合使用比仅使用结构特征的基线获得显著提升。
• 伽玛衰减理论表明许多高阶启发式可以从小的包络子图近似，误差呈指数级下降。
• 采用 DRNL 标注与负注入提升了 SEAL 的学习与泛化能力。
• 在使用不同的 GNN 架构和嵌入时，SEAL 的性能仍然强劲，显示出鲁棒性。