[论文解读] How Expressive are Transformers in Spectral Domain for Graphs?

Anson Bastos, Abhishek Nadgeri+4 more|arXiv (Cornell University)|Jan 23, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出FeTA，一种频谱域注意力机制，使Transformer能够对整个图谱进行注意力计算，克服了原始Transformer在捕捉高频图信号方面的固有局限。理论分析表明，Transformer的空间注意力受限于低通滤波，而FeTA通过学习任务特定的频谱注意力，在图分类、回归和节点分类基准上均实现了更优性能。

ABSTRACT

The recent works proposing transformer-based models for graphs have proven the inadequacy of Vanilla Transformer for graph representation learning. To understand this inadequacy, there is a need to investigate if spectral analysis of the transformer will reveal insights into its expressive power. Similar studies already established that spectral analysis of Graph neural networks (GNNs) provides extra perspectives on their expressiveness. In this work, we systematically study and establish the link between the spatial and spectral domain in the realm of the transformer. We further provide a theoretical analysis and prove that the spatial attention mechanism in the transformer cannot effectively capture the desired frequency response, thus, inherently limiting its expressiveness in spectral space. Therefore, we propose FeTA, a framework that aims to perform attention over the entire graph spectrum (i.e., actual frequency components of the graphs) analogous to the attention in spatial space. Empirical results suggest that FeTA provides homogeneous performance gain against vanilla transformer across all tasks on standard benchmarks and can easily be extended to GNN-based models with low-pass characteristics (e.g., GAT).

研究动机与目标

• 对原始Transformer在图表示学习中的频域表达能力进行理论分析。
• 识别Transformer中空间注意力的根本局限——由于固有的低通滤波特性，无法选择性地关注特定频率分量。
• 提出FeTA，一种在全图谱上执行注意力的框架，其在频域中模拟空间注意力机制。
• 通过将其集成到具有低通特性的GNN（如GAT）中，评估FeTA的泛化能力，展示性能提升。
• 研究FeTA与现有位置编码方案的兼容性，表明其可为空间编码方法提供正交性改进。

提出的方法

• 利用图谱理论，正式建立Transformer在空间域与频域之间的等价性。
• 理论上证明，Transformer中的空间注意力被限制在低通频率响应范围内，从而在频域中限制了表达能力。
• 设计FeTA，使其在图拉普拉斯矩阵的特征向量（频率分量）上执行自注意力，实现全谱注意力。
• 将FeTA集成到具有低通滤波特性的GNN（如GAT）中，以增强其频谱建模能力。
• 利用对特征模态学习到的注意力权重，动态过滤整个频率范围内的信号，实现任务特定的频谱滤波。
• 通过消融研究和在多个图基准（包括ZINC、MolHIV、PATTERN和CLUSTER）上的对比实验，评估FeTA的性能。

实验结果

研究问题

• RQ1 在图表示学习中，Transformer的空间域与频域之间是否存在正式等价性？
• RQ2 Transformer在频域中的表达能力如何？其是否固有地限制注意力仅作用于低频分量？
• RQ3 频谱域注意力机制能否克服Transformer在图结构中空间注意力的局限性？
• RQ4 FeTA在多样化图学习任务中与原始Transformer及GNN相比表现如何？
• RQ5 现有位置编码方案与FeTA的交互程度如何？FeTA是否能提供互补性优势？

主要发现

• 理论分析确认，Transformer中的空间注意力机制固有地限制学习过程仅作用于低通频率响应，从而在频域中限制了表达能力。
• FeTA在所有评估的图分类、回归和节点分类基准中，均一致地优于原始Transformer。
• 当集成到如GAT等具有低通特性的GNN中时，FeTA通过实现全谱注意力显著提升了性能，证明了其泛化能力。
• 频域中的注意力热力图显示，FeTA能根据任务需求，学习到对局部聚类（低通行为）和长程交互（高通行为）的关注。
• 位置编码方案在不同数据集间不具备泛化能力，但当FeTA替代SOTA架构中的原始Transformer时，其性能始终得到提升，表明其具有正交性优势。
• 可解释性分析表明，FeTA的频谱注意力可被有意义地解释为基于节点的频谱位置进行聚合：低频分量强调局部同质性，高频分量则支持长程交互。