[论文解读] Graph Neighborhood Attentive Pooling

Zekarias T. Kefato, Šarūnas Girdzijauskas|arXiv (Cornell University)|Jan 28, 2020

Advanced Graph Neural Networks参考文献 25被引用 5

一句话总结

本文提出Gap，一种上下文敏感的图神经网络，通过注意力机制对节点邻域的不同部分进行关注，无需文本特征或社区检测。它在链接预测和节点聚类任务上达到最先进性能，分别优于现有方法9%和20%，同时训练速度比同类基于注意力的模型快两倍以上。

ABSTRACT

Network representation learning (NRL) is a powerful technique for learning low-dimensional vector representation of high-dimensional and sparse graphs. Most studies explore the structure and metadata associated with the graph using random walks and employ an unsupervised or semi-supervised learning schemes. Learning in these methods is context-free, because only a single representation per node is learned. Recently studies have argued on the sufficiency of a single representation and proposed a context-sensitive approach that proved to be highly effective in applications such as link prediction and ranking. However, most of these methods rely on additional textual features that require RNNs or CNNs to capture high-level features or rely on a community detection algorithm to identify multiple contexts of a node. In this study, without requiring additional features nor a community detection algorithm, we propose a novel context-sensitive algorithm called GAP that learns to attend on different parts of a node's neighborhood using attentive pooling networks. We show the efficacy of GAP using three real-world datasets on link prediction and node clustering tasks and compare it against 10 popular and state-of-the-art (SOTA) baselines. GAP consistently outperforms them and achieves up to ~9% and ~20% gain over the best performing methods on link prediction and clustering tasks, respectively.

研究动机与目标

• 解决图表示学习中上下文无关节点表示的局限性。
• 开发一种不依赖文本特征或社区检测算法的上下文敏感方法。
• 仅利用图结构提升链接预测和节点聚类任务的性能。
• 通过去除编码器阶段简化注意力池化网络（apn），加速训练过程。

提出的方法

• Gap使用邻域函数为每个节点构建固定大小的邻居序列，将邻居顺序视为任意。
• 其注意力机制受注意力池化网络（apn）启发，但因缺乏序列或文本特征而省略编码器阶段。
• 模型通过源节点与上下文节点之间的互注意力机制，对邻域特征计算软注意力。
• 对注意力对齐矩阵执行列方向和行方向的池化操作，生成上下文感知的表示。
• 最终表示通过使用学习到的注意力向量对邻域嵌入进行加权求和获得。
• 模型采用对比损失目标进行端到端训练，用于链接预测和聚类任务。

实验结果

研究问题

• RQ1 一种不依赖文本特征或社区检测的上下文敏感图表示学习方法能否实现最先进性能？
• RQ2 在图邻域上应用时，从apn架构中移除编码器是否会降低性能？
• RQ3 仅对图邻域进行注意力机制是否能优于上下文无关或依赖特征的方法？
• RQ4 所提出的简化方法对训练速度和可扩展性有何影响？

主要发现

• Gap在三个真实世界数据集上的链接预测任务中，相对于最佳基线模型性能最高提升9%。
• Gap在节点聚类任务中，相对于最佳基线模型性能最高提升20%。
• 由于去除了编码器阶段，Gap的训练速度比基于apn的文本特征方法快两倍以上。
• 消融研究证实，互注意力机制至关重要，若替换为前馈网络（GapMlp），性能显著下降。
• 即使在强正则化（dropout率0.95）条件下，模型仍保持鲁棒性，表明简化架构比基于编码器的变体更不易过拟合。
• 基于编码器的变体（GapCn, GapApn）在更大卷积核尺寸下性能下降，表明高层邻域模式对边预测无益。