[论文解读] Combining Label Propagation and Simple Models Out-performs Graph Neural Networks

Qian Huang, Horace He+3 more|arXiv (Cornell University)|Oct 27, 2020

Advanced Graph Neural Networks参考文献 48被引用 114

一句话总结

本文提出 Correct and Smooth (C&S)：一种简单的、无 GNN 的流水线，将基于特征的基础预测器与两步后处理的标签传播（错误校正和预测平滑）结合起来，在具有比 GNNs 少得多的参数且训练速度更快的情况下，实现最先进或接近最先进的传导式节点分类。

ABSTRACT

Graph Neural Networks (GNNs) are the predominant technique for learning over graphs. However, there is relatively little understanding of why GNNs are successful in practice and whether they are necessary for good performance. Here, we show that for many standard transductive node classification benchmarks, we can exceed or match the performance of state-of-the-art GNNs by combining shallow models that ignore the graph structure with two simple post-processing steps that exploit correlation in the label structure: (i) an "error correlation" that spreads residual errors in training data to correct errors in test data and (ii) a "prediction correlation" that smooths the predictions on the test data. We call this overall procedure Correct and Smooth (C&S), and the post-processing steps are implemented via simple modifications to standard label propagation techniques from early graph-based semi-supervised learning methods. Our approach exceeds or nearly matches the performance of state-of-the-art GNNs on a wide variety of benchmarks, with just a small fraction of the parameters and orders of magnitude faster runtime. For instance, we exceed the best known GNN performance on the OGB-Products dataset with 137 times fewer parameters and greater than 100 times less training time. The performance of our methods highlights how directly incorporating label information into the learning algorithm (as was done in traditional techniques) yields easy and substantial performance gains. We can also incorporate our techniques into big GNN models, providing modest gains. Our code for the OGB results is at https://github.com/Chillee/CorrectAndSmooth.

研究动机与目标

• 激发人们认识到简单模型加上标签传播后处理如何在传导式节点分类基准上达到或超过 GNNs。
• 展示 C&S 在显著更少参数和更快训练时间的情况下仍能取得强劲性能。
• 证明将真实标签纳入后处理步骤会带来显著收益。
• 探究特征增强以及将 C&S 与更大规模的 GNNs 结合是否能带来进一步提升。
• 讨论标签和简单后处理在图学习中的作用及其含义。

提出的方法

• 在节点特征上训练一个基础预测器 f，忽略图结构（线性模型或浅层 MLP），以产生基础预测 Z。
• 在训练节点上计算残差 E = Z_Lt − Y_Lt，并通过图传播将这些误差扩散以获得校正分数 hatE，类似标签扩散的扩散过程（E^(t+1) = (1-α)E + α S E^(t)。
• 将基础预测与平滑后的残差结合，得到校正后的预测 Z^(r) = Z + hatE（可选自适应缩放或缩放扩散变体）。
• 执行第二次标签传播在图上平滑最终预测，使用校正后的分数作为输入，并将训练标签重置为其真实值（G^(0) = [Y_Lt 在 labeled 节点；Z^(r) 在 unlabeled 节点]）；迭代 G^(t+1) = (1-α)G^(t) + α S G^(t)。
• 可选地在基础预测之前用谱嵌入对节点特征进行增强，以改进性能。
• 展示在训练/验证中使用真实标签可以进一步提升结果；与端到端训练 GNNs 相比进行比较。

实验结果

研究问题

• RQ1 简单的、基于特征的预测器结合基于图的后处理，是否能够在传导式节点分类基准上达到或超过最先进的 GNN 性能？
• RQ2 错误校正传播和预测平滑对性能提升的贡献是什么，自适应缩放和固定扩散变体的角色是什么？
• RQ3 在后处理中纳入真实标签（训练和验证）是否相较于仅使用训练标签能显著改进结果？
• RQ4 在多样数据集上，C&S 在训练效率和参数量方面与同期的 GNN 模型相比如何？
• RQ5 C&S 是否可以与更复杂的 GNN 结合以带来额外提升？

主要发现

• C&S 经常在多个基准上超过或匹配最先进的 GNN，使用的参数远少，训练时间快量级。
• 在 OGB-Products 数据集上，C&S 的参数比已知最佳的 GNN 少 137 倍，训练时间也多于 100 倍的减少。
• 在后处理使用真实标签的验证标签（表 4）带来进一步改进，最好的模型在九个数据集中的七个上超越了 SOTA。
• 即使是基本模型（基础预测 + 基于标签传播的平滑，不使用标签）在若干数据集上也能超过普通的 GCN，突显了平滑输出的价值。
• 使用简单的基础预测器（线性或浅层 MLP）和后处理的 C&S，在 Arxiv、Products、Cora、Citeseer、Pubmed、Email、Rice31、US County、wikiCS 等数据集上可以超越或接近 SOTA 基线；结合特征增强并使用更多标签时可获得进一步提升。
• 该方法展示了显著的加速和参数效率，说明通过经典方法直接将标签信息纳入可以带来可观的性能提升。