[论文解读] Node Dependent Local Smoothing for Scalable Graph Learning

Wentao Zhang, Mingyu Yang+6 more|arXiv (Cornell University)|Oct 27, 2021

Advanced Graph Neural Networks参考文献 38被引用 13

一句话总结

该论文提出了一种可扩展的图学习方法——节点相关局部平滑（NDLS），该方法根据每个节点的局部结构和影响得分，为其分配唯一的平滑迭代次数，从而实现自适应的特征与标签平滑。NDLS在节点分类任务中达到最先进性能，同时保持了高训练效率和可扩展性，在大规模图上训练速度最高可达GAT的186倍，准确率相比APPNP和GAT分别提升1.0%–2.4%。

ABSTRACT

Recent works reveal that feature or label smoothing lies at the core of Graph Neural Networks (GNNs). Concretely, they show feature smoothing combined with simple linear regression achieves comparable performance with the carefully designed GNNs, and a simple MLP model with label smoothing of its prediction can outperform the vanilla GCN. Though an interesting finding, smoothing has not been well understood, especially regarding how to control the extent of smoothness. Intuitively, too small or too large smoothing iterations may cause under-smoothing or over-smoothing and can lead to sub-optimal performance. Moreover, the extent of smoothness is node-specific, depending on its degree and local structure. To this end, we propose a novel algorithm called node-dependent local smoothing (NDLS), which aims to control the smoothness of every node by setting a node-specific smoothing iteration. Specifically, NDLS computes influence scores based on the adjacency matrix and selects the iteration number by setting a threshold on the scores. Once selected, the iteration number can be applied to both feature smoothing and label smoothing. Experimental results demonstrate that NDLS enjoys high accuracy -- state-of-the-art performance on node classifications tasks, flexibility -- can be incorporated with any models, scalability and efficiency -- can support large scale graphs with fast training.

研究动机与目标

• 为解决现有GNN中固定平滑迭代次数的局限性，该方法未能考虑节点间结构差异。
• 开发一种方法，根据局部图结构自适应控制每个节点的特征与标签平滑程度。
• 在不增加模型复杂度的前提下，提升大规模图学习中的模型性能、可扩展性与效率。
• 通过将图结构使用解耦至预处理和后处理阶段，实现与任意下游模型的兼容性。

提出的方法

• NDLS基于邻接矩阵为每个节点计算影响得分，以量化其他节点对其的影响程度。
• 确定每个节点的局部平滑迭代次数（LSI），即影响得分达到无穷次迭代（过平滑）得分ε范围内的最小迭代次数。
• LSI用于限制特征与标签平滑的邻域半径，确保每个节点仅从相关邻居聚合信息。
• 在预处理阶段应用NDLS-F进行特征平滑，随后使用任意模型（如MLP、SGC）在平滑后的特征上进行训练。
• 在后处理阶段应用NDLS-L进行标签平滑，以提升预测鲁棒性。
• 该方法将图结构使用与模型训练解耦，使图学习转化为独立样本的常规机器学习问题。

实验结果

研究问题

• RQ1 如何使平滑迭代次数适应节点特定的局部结构，以避免欠平滑或过平滑？
• RQ2 基于节点依赖平滑的简单、可扩展方法是否能在准确率与效率上超越复杂的可学习GNN？
• RQ3 在图稀疏性（特征、边、标签）条件下，NDLS相较于现有基于线性模型的GNN表现如何？
• RQ4 节点度与最优平滑迭代次数之间存在何种关系？是否与理论预期一致？

主要发现

• NDLS在全部七个基准数据集上均达到最先进性能，相比APPNP和GAT分别在测试准确率上提升1.0%–1.9%和0.9%–2.4%。
• 在ogbn-papers100M数据集上，NDLS实现高准确率，训练速度最高可达耦合GNN的39倍，以及GAT的186倍。
• NDLS对图稀疏性表现出强鲁棒性：在不同水平的特征、边和标签稀疏性下，显著优于基线方法。
• LSI值与节点度呈负相关，验证了理论预期，证实了方法设计的合理性。
• 可视化结果表明，密集区域或靠近高阶节点的节点具有更低的LSI，表明其平滑具有基于局部连通性的自适应特性。
• 即使在特征或边部分缺失的情况下，NDLS仍保持高性能，表明其在数据稀缺条件下具备强泛化能力。