[论文解读] Just Jump: Dynamic Neighborhood Aggregation in Graph Neural Networks

Matthias Fey|arXiv (Cornell University)|Apr 9, 2019

Advanced Graph Neural Networks参考文献 28被引用 26

一句话总结

本文提出动态邻域聚合（DNA），一种图神经网络方法，利用多头自注意力机制在多层中动态聚合邻居嵌入，实现节点自适应的感受野。通过将注意力机制与分组线性投影相结合，DNA 在归纳性节点分类基准上优于标准 GNN 堆叠和跳跃知识网络，在隐藏维度更大的情况下准确率最高提升 3%。

ABSTRACT

We propose a dynamic neighborhood aggregation (DNA) procedure guided by (multi-head) attention for representation learning on graphs. In contrast to current graph neural networks which follow a simple neighborhood aggregation scheme, our DNA procedure allows for a selective and node-adaptive aggregation of neighboring embeddings of potentially differing locality. In order to avoid overfitting, we propose to control the channel-wise connections between input and output by making use of grouped linear projections. In a number of transductive node-classification experiments, we demonstrate the effectiveness of our approach.

研究动机与目标

• 解决堆叠 GNN 中感受场固定以及表征消失的问题。
• 实现在不同局部区域和深度下，节点自适应的邻居嵌入聚合。
• 通过学习动态、任务特定的感受场，提升归纳性节点分类中的泛化能力和性能。
• 探究分组线性投影作为注意力机制 GNN 中正则化手段的有效性。

提出的方法

• DNA 通过多头缩放点积注意力机制，对邻居的所有前序层嵌入进行注意力计算，以生成节点表示。
• 注意力机制动态加权来自不同邻域深度的贡献，实现对局部与全局信息的选择性聚合。
• 应用分组线性投影以控制通道间连接，减少过拟合，并支持更大的隐藏维度。
• 最终的节点表示通过聚合所有前序层的邻居嵌入形成，其中注意力权重可学习。
• 该方法被集成到 GNN 框架中，并使用交叉熵损失进行端到端训练。
• 该方法超越了标准 GNN 堆叠和跳跃知识网络，允许在消息传递过程中实现动态、节点级的聚合。

实验结果

研究问题

• RQ1 与固定聚合或跳跃知识方法相比，基于注意力的动态邻域聚合是否能提升 GNN 性能？
• RQ2 分组线性投影在注意力机制 GNN 中对泛化能力和可扩展性有何影响？
• RQ3 允许节点自适应的多深度聚合是否能提升归纳性节点分类任务中的表征学习？
• RQ4 在注意力机制 GNN 中，更大的隐藏维度在多大程度上受益于分组投影？

主要发现

• DNA 在所有数据集上均优于标准 GNN 堆叠（JK-None）和跳跃知识变体（JK-Concat、JK-Pool、JK-LSTM），准确率最高提升 3 个百分点。
• 在 Cora 数据集上，DNA 采用 g=16 时达到 86.15% ± 0.57 的准确率，超过最佳 JK-LSTM 结果（78.08% ± 1.53）。
• 分组投影的使用显著提升了性能：DNA 在 PubMed 上采用 g=16 时达到 94.64% ± 0.15，优于 g=1 时的 94.02% ± 0.17。
• DNA 中的注意力机制显示出对早期表示的强依赖，同时对某些节点也关键性地利用了深层表示，验证了动态聚合的有效性。
• 影响分析表明，DNA 能聚合来自远距离节点的信息，而 GCN-JK-Pool 仅限于直接邻居。
• 最佳性能出现在更大的隐藏维度下，尤其是与分组投影结合时，表明其作为有效正则化器的作用。