[论文解读] Graph Kernel Attention Transformers

Krzysztof Choromański, Han Lin+2 more|arXiv (Cornell University)|Jul 16, 2021

Advanced Graph Neural Networks参考文献 42被引用 4

一句话总结

本文提出图核注意力变换器（GKATs），一种新颖的图神经网络（GNN）架构，通过整合图核、带有结构先验的注意力机制，以及基于随机游走的核分解实现的低秩隐式注意力，实现了与图规模线性增长的计算复杂度，在浅层架构中高效建模长程依赖关系，并在包括基序检测、社交网络和生物信息学任务在内的多样化基准测试中超越现有最先进（SOTA）GNN模型。

ABSTRACT

We introduce a new class of graph neural networks (GNNs), by combining several concepts that were so far studied independently - graph kernels, attention-based networks with structural priors and more recently, efficient Transformers architectures applying small memory footprint implicit attention methods via low rank decomposition techniques. The goal of the paper is twofold. Proposed by us Graph Kernel Attention Transformers (or GKATs) are much more expressive than SOTA GNNs as capable of modeling longer-range dependencies within a single layer. Consequently, they can use more shallow architecture design. Furthermore, GKAT attention layers scale linearly rather than quadratically in the number of nodes of the input graphs, even when those graphs are dense, requiring less compute than their regular graph attention counterparts. They achieve it by applying new classes of graph kernels admitting random feature map decomposition via random walks on graphs. As a byproduct of the introduced techniques, we obtain a new class of learnable graph sketches, called graphots, compactly encoding topological graph properties as well as nodes' features. We conducted exhaustive empirical comparison of our method with nine different GNN classes on tasks ranging from motif detection through social network classification to bioinformatics challenges, showing consistent gains coming from GKATs.

研究动机与目标

• 解决现有GNN在高效建模长程依赖关系方面的局限性。
• 降低标准图注意力机制在密集图中二次方计算成本的问题。
• 开发一种可学习的紧凑图草图方法，以编码拓扑和特征信息。
• 将图核、注意力机制与高效的Transformer架构统一于单一表达性框架之中。
• 通过改进的归纳偏置与表达能力，在浅层架构中实现最先进性能。

提出的方法

• GKATs采用一种基于图上随机游走的新一类图核，支持高效的随机特征映射分解。
• 这些核被整合进注意力机制中，形成结构化的归纳偏置，增强对结构依赖关系的建模能力。
• 注意力机制采用低秩分解，即使在密集图中也能实现节点数量的线性复杂度。
• 提出一种新型可学习图草图技术，称为“graphots”，用于紧凑编码图的拓扑与特征属性。
• 该架构结合图核的归纳偏置与Transformer的表征能力，实现浅层但高度表达的模型。
• 该方法支持端到端训练，具有可微的注意力权重与核参数，支持结构与特征表示的联合优化。

实验结果

研究问题

• RQ1 基于图核的注意力机制是否能在保持或提升表达能力的同时，实现与图规模线性增长的复杂度？
• RQ2 与标准GNN相比，GKATs在单层中对长程依赖关系的建模能力在多大程度上得到提升？
• RQ3 将基于随机游走的图核与注意力机制结合，能否在多样化图学习任务中提升泛化能力？
• RQ4 所提出的graphots草图方法是否能以紧凑且可学习的形式有效捕捉拓扑与特征信息？
• RQ5 GKAT架构是否在包括生物信息学与社交网络任务在内的多样化基准测试中持续超越SOTA GNN模型？

主要发现

• GKATs在节点数量上实现与图规模线性增长的计算复杂度，即使在密集图中也优于标准GNN的二次方复杂度。
• 该模型在建模长程依赖关系方面表现卓越，支持使用浅层架构实现高效的表示学习。
• GKATs在包括基序检测、社交网络分类和生物信息学基准在内的多样化任务中，超越九种不同类别的GNN。
• 所引入的graphots提供了一种紧凑且可学习的图结构与节点特征草图，显著提升了表示效率。
• 实证评估结果在所有评估任务中均显示一致性能提升，验证了所提架构集成的有效性。
• 该方法在降低内存与计算需求的同时保持高表达能力，适用于大规模图学习任务。