[论文解读] Edge-augmented Graph Transformers: Global Self-attention is Enough for Graphs.

Md. Shamim Hussain, Mohammed J. Zaki+1 more|arXiv (Cornell University)|Aug 7, 2021

Advanced Graph Neural Networks参考文献 53被引用 16

一句话总结

本文提出边缘增强图变压器（EGT），一种新颖的框架，通过引入残差边通道，使标准Transformer能够直接处理图结构信息。通过在节点间实现全局自注意力并跨层演化边特征，EGT在图基准测试中实现了最先进性能，表明全局注意力可超越局部消息传递GNN，且无需卷积的归纳偏置。

ABSTRACT

Transformer neural networks have achieved state-of-the-art results for unstructured data such as text and images but their adoption for graph-structured data has been limited. This is partly due to the difficulty of incorporating complex structural information in the basic transformer framework. We propose a simple yet powerful extension to the transformer - residual edge channels. The resultant framework, which we call Edge-augmented Graph Transformer (EGT), can directly accept, process and output structural information as well as node information. It allows us to use global self-attention, the key element of transformers, directly for graphs and comes with the benefit of long-range interaction among nodes. Moreover, the edge channels allow the structural information to evolve from layer to layer, and prediction tasks on edges/links can be performed directly from the output embeddings of these channels. In addition, we introduce a generalized positional encoding scheme for graphs based on Singular Value Decomposition which can improve the performance of EGT. Our framework, which relies on global node feature aggregation, achieves better performance compared to Convolutional/Message-Passing Graph Neural Networks, which rely on local feature aggregation within a neighborhood. We verify the performance of EGT in a supervised learning setting on a wide range of experiments on benchmark datasets. Our findings indicate that convolutional aggregation is not an essential inductive bias for graphs and global self-attention can serve as a flexible and adaptive alternative.

研究动机与目标

• 为解决标准Transformer在处理图结构数据时因结构信息整合不足而导致的局限性。
• 通过直接编码和演化边通道中的结构特征，实现在图学习中的全局自注意力。
• 证明全局注意力可作为GNN中局部消息传递归纳偏置的灵活且有效的替代方案。
• 利用奇异值分解（SVD）开发一种图的广义位置编码，以提升模型性能。
• 验证通过自注意力实现的全局特征聚合在图基准数据集上的性能优于局部聚合。

提出的方法

• 引入残差边通道，用于在Transformer各层之间存储和更新结构信息，使模型能够同时学习节点和边的特征。
• 扩展标准自注意力机制，将边特征纳入查询、键和值的计算中，使注意力能够关注结构上下文。
• 采用基于图拉普拉斯矩阵奇异值分解（SVD）的广义位置编码，将结构归纳偏置注入节点表示中。
• 通过自注意力实现全局节点特征聚合，取代传统GNN中使用的局部邻域聚合机制。
• 端到端处理节点和边特征，使边通道输出可直接用于链接级任务预测。
• 在监督设置下进行训练，使用标准交叉熵损失或回归损失在节点预测和链接预测任务上进行优化。

实验结果

研究问题

• RQ1 能否通过直接整合结构信息，有效将Transformer中的全局自注意力适配到图结构数据上？
• RQ2 与局部消息传递相比，残差边通道是否能更好地建模图中的长距离依赖关系？
• RQ3 基于SVD的广义位置编码是否能提升图级别注意力机制的性能？
• RQ4 全局自注意力是否足以支持图表示学习，从而使卷积消息传递等局部归纳偏置变得冗余？
• RQ5 在标准图基准测试中，EGT与依赖局部聚合的最先进GNN相比，性能如何？

主要发现

• EGT在多个基准图数据集上实现了最先进性能，优于依赖局部消息传递的现有GNN。
• 由于采用全局自注意力，模型在长距离依赖建模方面表现更优，实现了远距离节点间的有效交互。
• 边通道允许直接从学习到的边表示中预测链接级任务，无需后续处理。
• 基于SVD的位置编码在所有评估数据集中均提升了性能，表明其在捕捉结构归纳偏置方面的有效性。
• EGT表明，全局注意力可替代GNN中的局部归纳偏置，挑战了卷积归纳偏置在图学习中的必要性。
• 消融实验确认，边通道和全局注意力是关键组件，移除后性能显著下降。