[论文解读] Graph External Attention Enhanced Transformer

Jianqing Liang, Min Chen+1 more|arXiv (Cornell University)|May 31, 2024

EEG and Brain-Computer Interfaces被引用 4

一句话总结

本文提出了一种基于Transformer的新型架构——图外部注意力增强Transformer（GEAET），通过轻量级图外部注意力（GEA）机制整合图间相关性，增强图表示学习。通过利用外部节点/边的键值单元，GEAET捕捉图之间的全局结构相似性，在基准数据集上实现最先进性能的同时，降低了对位置编码的依赖。

ABSTRACT

The Transformer architecture has recently gained considerable attention in the field of graph representation learning, as it naturally overcomes several limitations of Graph Neural Networks (GNNs) with customized attention mechanisms or positional and structural encodings. Despite making some progress, existing works tend to overlook external information of graphs, specifically the correlation between graphs. Intuitively, graphs with similar structures should have similar representations. Therefore, we propose Graph External Attention (GEA) -- a novel attention mechanism that leverages multiple external node/edge key-value units to capture inter-graph correlations implicitly. On this basis, we design an effective architecture called Graph External Attention Enhanced Transformer (GEAET), which integrates local structure and global interaction information for more comprehensive graph representations. Extensive experiments on benchmark datasets demonstrate that GEAET achieves state-of-the-art empirical performance. The source code is available for reproducibility at: https://github.com/icm1018/GEAET.

研究动机与目标

• 解决现有图表示模型仅关注图内结构而忽略图间相关性的局限性。
• 改善长距离依赖建模，并缓解GNN中的过压缩与过平滑问题。
• 设计一种自注意力机制，隐式学习图间结构相似性，而不过度依赖位置编码。
• 将局部结构信息与全局图间交互相结合，实现更全面的图表示。
• 在标准图基准数据集上实现最先进性能，同时保持可解释性与高效性。

提出的方法

• 提出图外部注意力（GEA），一种新颖的注意力机制，利用来自其他图的外部键值单元来建模图间相关性。
• 引入多头注意力机制，其中查询向量源自单个图，而键值对则来自一组外部图。
• 设计GEAET为混合架构，结合GCN或GIN编码器用于局部结构学习，以及GEA模块用于全局交互建模。
• 采用可学习的外部键值单元用于节点和边，使模型能够隐式捕捉图间的结构相似性。
• 通过外部注意力利用结构相似性，减少对位置编码的依赖，提升泛化能力。
• 采用并行架构，结合GCN与注意力模块，实现局部与全局表示的联合优化。

实验结果

研究问题

• RQ1 建模图间结构相关性是否能超越图内消息传递，在图表示学习中带来性能提升？
• RQ2 与标准自注意力相比，图外部注意力在性能表现及对位置编码的依赖性方面有何差异？
• RQ3 GEAET在长距离依赖任务中，能在多大程度上缓解图神经网络中的过压缩问题？
• RQ4 外部节点、边及共享键值单元对整体模型性能的贡献如何？
• RQ5 全局图间注意力的集成是否能在标准图基准上实现最先进性能？

主要发现

• GEAET在多个基准数据集上实现最先进性能，包括ZINC、Peptides-Struct和TreeNeighbourMatch。
• 在长距离依赖任务中，该模型优于标准Transformer和GNN，在树深度r=7时仍能有效泛化，而GNN在r=4时即失效。
• GEAET显著降低对位置编码的依赖：即使无任何位置编码，仍能保持强大性能，而Transformer在无位置编码时性能显著下降。
• 消融实验表明，所有组件——外部节点、边及共享单元——均对性能有贡献，完整配置在MNIST上达到98.513%准确率，在PATTERN上达到86.993%。
• GEANet使用8个注意力头时性能最佳，与Transformer（单头性能最优）形成对比，表明两种注意力机制具有不同的归纳偏置。
• 拉普拉斯位置编码略微提升GEANet性能，而随机游走位置编码则导致性能下降，进一步凸显GEANet对这类编码的低依赖性。