[论文解读] GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs

Jiani Zhang, Xingjian Shi+4 more|arXiv (Cornell University)|Mar 20, 2018

Advanced Graph Neural Networks参考文献 23被引用 258

一句话总结

GaAN 引入门控注意力作为图聚合器，其中一个小型卷积网络门控每个注意力头，提升诱导节点分类并为时空预测打造 Graph Gated Recurrent Unit (GGRU)。它在多个真实世界数据集上达到最先进的结果。

ABSTRACT

We propose a new network architecture, Gated Attention Networks (GaAN), for learning on graphs. Unlike the traditional multi-head attention mechanism, which equally consumes all attention heads, GaAN uses a convolutional sub-network to control each attention head's importance. We demonstrate the effectiveness of GaAN on the inductive node classification problem. Moreover, with GaAN as a building block, we construct the Graph Gated Recurrent Unit (GGRU) to address the traffic speed forecasting problem. Extensive experiments on three real-world datasets show that our GaAN framework achieves state-of-the-art results on both tasks.

研究动机与目标

• 推动一种更好的图聚合器，能够对注意力头赋予不同权重，而不是将它们视为同等。
• 开发 GaAN，一种门控多头注意力机制，以提升在大图上的归纳节点分类。
• 将 GaAN 扩展为 Graph GRU (GGRU) 框架，用于图结构数据的时空预测。
• 改进采样策略以高效处理大规模图并实现对真实世界数据集的训练。

提出的方法

• 定义一个通用的图聚合框架并实现一个多头注意力聚合器。
• 引入一个门控网络，对每个节点计算门控以调节每个注意力头的贡献。
• 使用一个轻量级卷积子网络来生成门控，结合邻居特征的平均池化与最大池化。
• 将 GaAN 纳入 Graph GRU (GGRU) 以建模图上的时空序列。
• 提出带合并的内存高效邻居采样，以扩展到大规模图并加速训练。

实验结果

研究问题

• RQ1 对注意力头的门控控制能否在图聚合器上优于标准多头注意力从而提升性能？
• RQ2 在 PPI 和 Reddit 上，与现有基线（如 GraphSAGE、GAT、FastGCN）相比，GaAN 在归纳节点分类上的表现如何？
• RQ3 GaAN 是否可以扩展为递归框架来解决如交通速度预测之类的时空预测？
• RQ4 采样策略和门控维数对可扩展性和准确性的影响是什么？

主要发现

• GaAN 在归纳节点分类基准（PPI 和 Reddit）上实现了最先进或有竞争力的结果。
• 门控机制在相同数量头的情况下，相较于标准多头注意力聚合器提升了性能。
• GaAN 可以扩展为 Graph GRU (GGRU)，有效处理如 METR-LA 的交通速度预测等时空预测任务。
• 一种带邻居合并的内存高效采样策略在保持准确性的同时减少了计算负担，使得对大规模图的训练成为可能。