[论文解读] Generative Graph Neural Networks for Link Prediction

Xingping Xian, Tom Wu+6 more|arXiv (Cornell University)|Dec 31, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出 GraphLP，一种新颖的生成式图神经网络，用于链接预测，通过重构图结构来利用全局和高阶结构模式，在基准数据集上超越了判别式子图分类方法。与先前方法不同，它端到端地学习结构表征，无需启发式子图特征工程，AUC 和 AP 得分均达到最先进水平。

ABSTRACT

Inferring missing links or detecting spurious ones based on observed graphs, known as link prediction, is a long-standing challenge in graph data analysis. With the recent advances in deep learning, graph neural networks have been used for link prediction and have achieved state-of-the-art performance. Nevertheless, existing methods developed for this purpose are typically discriminative, computing features of local subgraphs around two neighboring nodes and predicting potential links between them from the perspective of subgraph classification. In this formalism, the selection of enclosing subgraphs and heuristic structural features for subgraph classification significantly affects the performance of the methods. To overcome this limitation, this paper proposes a novel and radically different link prediction algorithm based on the network reconstruction theory, called GraphLP. Instead of sampling positive and negative links and heuristically computing the features of their enclosing subgraphs, GraphLP utilizes the feature learning ability of deep-learning models to automatically extract the structural patterns of graphs for link prediction under the assumption that real-world graphs are not locally isolated. Moreover, GraphLP explores high-order connectivity patterns to utilize the hierarchical organizational structures of graphs for link prediction. Our experimental results on all common benchmark datasets from different applications demonstrate that the proposed method consistently outperforms other state-of-the-art methods. Unlike the discriminative neural network models used for link prediction, GraphLP is generative, which provides a new paradigm for neural-network-based link prediction.

研究动机与目标

• 解决依赖于手工设计子图特征和局部子图采样的判别式链接预测方法的局限性。
• 开发一种生成式框架，通过学习分层和全局结构模式，从图结构重构中推断缺失或错误的链接。
• 克服现有基于 GNN 的链接预测模型对 k-跳包围子图选择和启发式特征的依赖。
• 探索高阶连通性模式和分层图组织在提升链接预测性能方面的有效性。
• 提出一种基于生成式深度学习的新范式，与基于子图分类的判别式模型有本质区别。

提出的方法

• GraphLP 采用基于网络重构理论的生成式学习框架，模型从扰动后的图版本中学习重构原始图。
• 通过多层感知机（MLP）整合局部和全局结构特征，自适应融合多阶连通性模式。
• 采用协同推理机制，通过利用整个图的结构组织，联合预测缺失和错误链接。
• 通过分层结构模式计算机制对高阶连通性进行建模，捕捉递归的模块化和星型图组织。
• 训练目标结合重构损失和链接预测损失，使用超参数 λ 平衡两者。
• 训练过程中应用 Dropout 以防止过拟合，模型通过自适应学习率的反向传播进行优化。

实验结果

研究问题

• RQ1 通过学习全局和高阶结构模式，生成式 GNN 框架是否能在链接预测中超越判别式子图分类方法？
• RQ2 与基于局部子图的方法相比，分层和多阶结构特征的融合如何提升链接预测性能？
• RQ3 该模型在不同水平的图扰动和结构噪声下是否具有鲁棒性？
• RQ4 模型性能对超参数（如深度和权衡参数 λ）的敏感程度如何？
• RQ5 生成式重构方法是否能在多种真实世界图类型上实现更好的泛化能力？

主要发现

• GraphLP 在所有基准数据集上均达到最先进性能，在 AUC 和 AP 指标上持续超越经典启发式方法和近期 SOTA 判别式 GNN。
• 随着模型深度增加，性能显著提升，三层时达到峰值，四层时出现过拟合，表明三层为泛化最优深度。
• 在 20% 链接扰动下，模型表现稳健，140 个训练周期后，缺失链接的似然得分超过 0.5，错误链接得分低于 0.3。
• 在大多数数据集中，模型对权衡参数 λ 不敏感，不同 λ 值下性能稳定，尤其在 AP 得分上表现一致。
• 约 200 个训练周期内实现收敛，验证损失和指标趋于稳定，且由于 Dropout 正则化，验证损失始终低于训练损失。
• 恢复图拓扑的可视化结果表明，GraphLP 在扰动下能有效恢复结构完整性，验证了其生成能力。