[论文解读] A pipeline for fair comparison of graph neural networks in node classification tasks

Wentao Zhao, Dalin Zhou+2 more|arXiv (Cornell University)|Dec 19, 2020

Advanced Graph Neural Networks参考文献 55被引用 5

一句话总结

本文提出了一种标准化、可复现的基准流程，用于在节点分类任务中对图神经网络（GNNs）进行公平比较。该方法引入了统一的训练流程、小样本数据集的k折交叉验证，以及基于node2vec和拉普拉斯特征向量的系统性数据增强，表明拓扑特征和恰当的数据增强能显著提升性能，尤其是在非连通图中。

ABSTRACT

Graph neural networks (GNNs) have been investigated for potential applicability in multiple fields that employ graph data. However, there are no standard training settings to ensure fair comparisons among new methods, including different model architectures and data augmentation techniques. We introduce a standard, reproducible benchmark to which the same training settings can be applied for node classification. For this benchmark, we constructed 9 datasets, including both small- and medium-scale datasets from different fields, and 7 different models. We design a k-fold model assessment strategy for small datasets and a standard set of model training procedures for all datasets, enabling a standard experimental pipeline for GNNs to help ensure fair model architecture comparisons. We use node2vec and Laplacian eigenvectors to perform data augmentation to investigate how input features affect the performance of the models. We find topological information is important for node classification tasks. Increasing the number of model layers does not improve the performance except on the PATTERN and CLUSTER datasets, in which the graphs are not connected. Data augmentation is highly useful, especially using node2vec in the baseline, resulting in a substantial baseline performance improvement.

研究动机与目标

• 解决在节点分类任务中缺乏标准化训练设置的问题，以实现对GNN架构的公平比较。
• 建立一个可复现的实验流程，确保在不同GNN模型之间保持一致的超参数、模型深度和参数预算。
• 通过数据增强技术评估输入特征（特别是拓扑信息）对GNN性能的影响。
• 使未来的研究人员能够在统一的评估条件下，通过该框架轻松扩展新的模型和数据集。

提出的方法

• 使用PyTorch和PyTorch Geometric实现标准化训练流程，所有7种GNN架构均采用固定的超参数、参数预算和模型深度。
• 对于小样本数据集，采用10折交叉验证策略替代随机划分，以确保模型评估的公平性和稳定性。
• 通过node2vec和拉普拉斯特征向量实施数据增强，以在输入特征中融入拓扑信息。
• 在相同的训练条件下评估模型性能，包括优化器、学习率和早停策略，以确保可比性。
• 该框架支持模块化扩展，允许研究人员以一致的评估协议轻松集成新模型和新数据集。
• 在GatedGCN和ResGatedGCN中采用基于GRU的聚合机制，通过门控消息传递建模长期依赖关系。

实验结果

研究问题

• RQ1 通过数据增强引入拓扑特征后，GNN在节点分类任务中的性能受到何种影响？
• RQ2 在相同训练设置下，不同GNN架构在多样化图结构上的泛化能力如何？
• RQ3 增加网络层数是否在所有图类型中均能持续提升性能？
• RQ4 在小样本数据集上，k折交叉验证与随机划分相比，在确保公平模型评估方面表现如何？
• RQ5 与拉普拉斯特征向量相比，node2vec在提升基线性能方面的相对影响是什么？

主要发现

• 拓扑信息，尤其是通过数据增强方式注入的，显著提升了大多数数据集上的节点分类性能。
• 增加网络层数仅在PATTERN和CLUSTER数据集上提升性能，而这两个数据集是非连通图，表明在连通图中可能存在过拟合或梯度消失问题。
• 使用node2vec进行数据增强能显著提升基线性能，表明学习到的节点表征对GNN具有高度益处。
• 在小样本数据集上使用k折交叉验证相比随机划分，能带来更可靠、更公平的模型比较结果。
• GatedGCN和ResGatedGCN表现出色，归因于其通过基于GRU的消息传递机制建模长期依赖关系的能力。
• 所提出的基准框架实现了在多样化数据集和架构之间对GNN模型的一致性、可复现性和公平比较。