[论文解读] Bag of Tricks for Node Classification with Graph Neural Networks

Yangkun Wang, Jiarui Jin+4 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Graph Neural Networks参考文献 35被引用 28

一句话总结

本文综述了基于图神经网络（GNNs）的节点分类的实用技巧，介绍了新的标签使用、鲁棒损失和架构调整，并在多个数据集上展示了一致的实证增益。

ABSTRACT

Over the past few years, graph neural networks (GNN) and label propagation-based methods have made significant progress in addressing node classification tasks on graphs. However, in addition to their reliance on elaborate architectures and algorithms, there are several key technical details that are frequently overlooked, and yet nonetheless can play a vital role in achieving satisfactory performance. In this paper, we first summarize a series of existing tricks-of-the-trade, and then propose several new ones related to label usage, loss function formulation, and model design that can significantly improve various GNN architectures. We empirically evaluate their impact on final node classification accuracy by conducting ablation studies and demonstrate consistently-improved performance, often to an extent that outweighs the gains from more dramatic changes in the underlying GNN architecture. Notably, many of the top-ranked models on the Open Graph Benchmark (OGB) leaderboard and KDDCUP 2021 Large-Scale Challenge MAG240M-LSC benefit from these techniques we initiated.

研究动机与目标

• 激发数据处理和训练技巧在提升节点分类准确性方面的重要性，超越架构变更。
• 引入将标签作为输入使用以及标签重用以提升半监督学习的新技术。
• 提出一组鲁棒损失函数家族，以在离群值和嘈杂标签下提高分类性能。
• 探索对 GAT 架构与损失设计的调整，以提升在多样图上的性能。

提出的方法

• 提出在训练和推理阶段提供真实标签作为输入以传播标签信息。
• 开发标签重用，在训练期间将前一轮预测的标签作为输入输入。
• 引入一组鲁棒损失函数家族，包括 Loge loss，以提高对离群值的鲁棒性。
• 调整 GNN 架构，如 GCN 和 GAT，包括对称归一化以及边特征感知的变体。
• 在多个数据集（Cora, Citeseer, Pubmed, Reddit, ogbn-arxiv, ogbn-proteins, ogbn-products）上评估提出的技巧，并通过消融研究比较变体。

实验结果

研究问题

• RQ1 在训练和推理阶段显式使用训练标签作为输入，能否在不导致退化解的情况下提升节点分类性能？
• RQ2 将前一轮预测的标签（标签重用）作为输入是否能在不同图上提升半监督 GNN 的性能？
• RQ3 鲁棒的、非凸类的损失函数（如 Loge loss）与传统损失在 GNN 节点分类训练中的表现有何差异？
• RQ4 在不同图数据集上，哪些 GAT 和邻接归一化变体能够实现最佳性能？
• RQ5 提出的技巧是否共同解释了在 OGB 排行榜上表现最佳模型所观察到的性能提升？

主要发现

• 标签作为输入和标签重用技术在标签率中等的大型数据集上稳定提升准确性。
• Loge 损失在多个数据集上通常优于逻辑损失和 Savage 损失，在决策边界附近具有有利的梯度特性。
• 具有对称归一化邻接的 GAT 变体通常优于基本 GAT，在若干数据集上，边特征变体在蛋白质数据上可获得显著提升。
• 将标签使用技巧与现有方法（如 C&S）结合可带来进一步提升。
• 在像 ogbn-proteins 这样的大规模数据集上，提出的带边特征的 GAT 实现了显著的 ROC-AUC 提升，表明具有很强的鲁棒性和适用性。