[论文解读] Benchmarking Graph Neural Networks on Link Prediction

Xing Wang, Alexander Vinel|arXiv (Cornell University)|Feb 24, 2021

Advanced Graph Neural Networks参考文献 14被引用 7

一句话总结

本论文在四个数据集（Cora、CiteSeer、PubMed、Wiki-CS）上对四种主流GNN架构——GCN、GraphSAGE、GAT和VGAE——进行了链路预测的基准测试，采用一致的训练/验证/测试划分和50次重复实验。结果表明，所有模型表现相似，AUC得分均在90%左右，但GCN和VGAE在Wiki-CS上表现更优（AUC >95%），而GraphSAGE在某些数据集上表现出更高的方差和更低的鲁棒性。

ABSTRACT

In this paper, we benchmark several existing graph neural network (GNN) models on different datasets for link predictions. In particular, the graph convolutional network (GCN), GraphSAGE, graph attention network (GAT) as well as variational graph auto-encoder (VGAE) are implemented dedicated to link prediction tasks, in-depth analysis are performed, and results from several different papers are replicated, also a more fair and systematic comparison are provided. Our experiments show these GNN architectures perform similarly on various benchmarks for link prediction tasks.

研究动机与目标

• 为GNN模型在链路预测任务上的公平且系统化的比较提供支持，解决先前基准测试中存在的一致性问题。
• 在引文网络和更大、更连通的领域（Wiki-CS）上评估多种最先进GNN架构——GCN、GraphSAGE、GAT和VGAE。
• 复制并扩展[10]和[14]中的先前结果，确保训练划分和评估协议的一致性与可重现性。
• 通过t-SNE可视化学习到的节点嵌入，分析模型的鲁棒性和表示质量。
• 识别不同模型与数据集之间的性能差异以及潜在的过拟合模式。

提出的方法

• 所有模型在所有数据集上均采用一致的85%-5%-10%训练/验证/测试划分，确保公平比较。
• 链路预测被建模为二分类任务，使用图中的正样本边和从未连接边中采样的负样本边。
• 使用Adam优化器进行训练，初始学习率为0.01（GAT在Wiki-CS上为0.001），训练200个周期。
• 每次实验重复50次，通过自助法（bootstrapping）计算平均性能和95%置信区间。
• 从GCN、GraphSAGE、GAT和VGAE中提取节点嵌入，用于t-SNE可视化，以评估表示质量。
• 评估指标包括AUC和平均精度，报告为50次运行的均值与标准差。

实验结果

研究问题

• RQ1 当使用相同的训练/测试划分时，GCN、GraphSAGE、GAT和VGAE在链路预测任务上的表现如何？
• RQ2 GNN模型在不同图结构（如引文网络与高度连通的维基百科网络）上是否表现出显著的性能差异？
• RQ3 模型鲁棒性——以性能方差衡量——在不同模型之间有何差异，特别是在稀疏图与密集图上？
• RQ4 学习到的嵌入的t-SNE可视化能否揭示有意义的类别分离以及潜在的过拟合模式？
• RQ5 本研究结果在多大程度上复制或扩展了[10]和[14]等先前工作的发现？

主要发现

• GCN在Cora（AUC 0.924）、PubMed（AUC 0.931）和Wiki-CS（AUC 0.957）上取得最高AUC，表明其在这些数据集上具有强大的泛化能力。
• VGAE在CiteSeer上表现最佳，AUC达到0.926，优于其他模型在该引文网络上的表现。
• GraphSAGE在性能上表现出最高方差，尤其在CiteSeer和Wiki-CS上，表明其鲁棒性较低且可能存在过拟合。
• 在Cora、CiteSeer和PubMed上，所有模型的AUC得分均接近90%，表明这些基准测试中整体性能相似。
• 在Wiki-CS上，GCN和VGAE的AUC均超过95%，表明其在高度连通、大规模图上的优越性能。
• t-SNE可视化显示，链路预测性能更好的模型（如Cora上的GCN、Wiki-CS上的VGAE）在潜在空间中能产生更清晰的类别分离。