[论文解读] Adaptive Graph Diffusion Networks with Hop-wise Attention

Chuxiong Sun, Guoshi Wu|arXiv (Cornell University)|Dec 29, 2020

Advanced Graph Neural Networks参考文献 34被引用 12

一句话总结

本文提出自适应图扩散网络与逐跳注意力（AGDNs-HA），一种新颖的图神经网络（GNN）架构，通过可学习的、节点自适应的注意力机制聚合多跳邻域信息，以缓解过平滑与过拟合问题。该方法通过在单层中有效结合高阶图邻域信息，实现了半监督节点分类基准上的最先进性能。

ABSTRACT

Graph Neural Networks (GNNs) have received much attention recent years and have achieved state-of-the-art performances in many fields. The deeper GNNs can theoretically capture deeper neighborhood information. However, they often suffer from problems of over-fitting and over-smoothing. In order to incorporate deeper information while preserving considerable complexity and generalization ability, we propose Adaptive Graph Diffusion Networks with Hop-wise Attention (AGDNs-HA). We stack multi-hop neighborhood aggregations of different orders into single layer. Then we integrate them with the help of hop-wise attention, which is learnable and adaptive for each node. Experimental results on the standard dataset with semi-supervised node classification task show that our proposed methods achieve significant improvements.

研究动机与目标

• 解决因堆叠多层而引起的深层图神经网络（GNNs）中过平滑与过拟合的问题。
• 通过聚合多跳邻域信息，在不增加模型深度的情况下实现更大的感受野。
• 通过引入对不同跳数的自适应、节点特定注意力机制，保持模型的泛化能力与复杂度。
• 通过更富信息量且具有选择性的邻域聚合，提升半监督节点分类任务的性能。

提出的方法

• 将不同阶数的多跳邻域聚合（例如，1跳、2跳等）整合到单个网络层中，以捕捉更深层的图结构。
• 引入一种可学习的、节点自适应的注意力机制，动态加权不同跳数邻域的贡献。
• 通过加权聚合策略结合来自多个跳数的注意力特征，形成统一的节点表征。
• 使用标准交叉熵损失进行端到端训练，用于半监督节点分类。
• 确保注意力机制按节点自适应，使其能根据局部图结构聚焦于最相关的邻域阶数。
• 采用单层架构结合多跳聚合，以在保持表达能力的同时减少深度相关退化。

实验结果

研究问题

• RQ1 在单层中结合多跳邻域信息是否能在不增加模型深度的情况下提升 GNN 性能？
• RQ2 对不同跳数的节点自适应注意力如何影响深层 GNN 的泛化能力与过平滑现象？
• RQ3 可学习的逐跳注意力在多大程度上能提升半监督节点分类任务的性能？
• RQ4 所提出的方法在准确率与鲁棒性方面是否优于标准 GNN 及现有深层 GNN 变体？

主要发现

• 所提出的 AGDNs-HA 模型在标准半监督节点分类基准上实现了显著的性能提升。
• 在不同跳数上使用可学习的、节点自适应注意力，有效缓解了深层 GNN 中的过平滑与过拟合问题。
• 尽管引入了更深层的邻域信息，该模型仍保持了高水平的泛化能力。
• 与传统深层 GNN 相比，采用多跳聚合的单层架构在准确率与训练稳定性方面表现更优。