[论文解读] Are More Layers Beneficial to Graph Transformers?

Haiteng Zhao, Shuming Ma+3 more|arXiv (Cornell University)|Mar 1, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

该论文指出，更深的图注意力网络在关键子结构上的注意力容量会逐渐减弱，导致层数超过12层后性能下降。为解决此问题，作者提出DeepGraph模型，通过引入子结构标记和局部注意力机制，增强对子结构的关注与表征表达能力，在更深架构（最高达48层）的图基准测试中取得最先进性能。

ABSTRACT

Despite that going deep has proven successful in many neural architectures, the existing graph transformers are relatively shallow. In this work, we explore whether more layers are beneficial to graph transformers, and find that current graph transformers suffer from the bottleneck of improving performance by increasing depth. Our further analysis reveals the reason is that deep graph transformers are limited by the vanishing capacity of global attention, restricting the graph transformer from focusing on the critical substructure and obtaining expressive features. To this end, we propose a novel graph transformer model named DeepGraph that explicitly employs substructure tokens in the encoded representation, and applies local attention on related nodes to obtain substructure based attention encoding. Our model enhances the ability of the global attention to focus on substructures and promotes the expressiveness of the representations, addressing the limitation of self-attention as the graph transformer deepens. Experiments show that our method unblocks the depth limitation of graph transformers and results in state-of-the-art performance across various graph benchmarks with deeper models.

研究动机与目标

• 探究增加深度是否能提升图注意力网络在图学习任务中的性能，如同在自然语言处理和视觉Transformer中所见。
• 识别图注意力网络在深度增加时性能下降的根本原因，特别是子结构上注意力容量的损失。
• 通过增强模型在更深架构中对关键子结构的关注与表征能力，解决该瓶颈问题。
• 设计一种可扩展且高效的方法，以在模型深度增加时保持注意力容量与表征表达能力。

提出的方法

• 引入专用的子结构标记，以显式表示模型输入表示中的局部图子结构（例如环、团）。
• 在属于同一子结构的节点上应用局部自注意力机制，实现对局部结构模式的聚焦关注。
• 将基于子结构的注意力与全局自注意力相结合，以在增强局部特征学习的同时保留长距离依赖建模能力。
• 使用DeepNorm残差连接以稳定极深模型（最高48层）的训练过程。
• 采用两阶段训练策略：先使用几何或邻域特征预训练子结构标记，再进行端到端微调。
• 对注意力容量和表征范数进行归一化，以确保在各层中保持稳定且可解释的子结构编码。

实验结果

研究问题

• RQ1 增加图注意力网络的深度是否能提升其在图学习任务中的性能？
• RQ2 为何当前图注意力网络在12层以上深度时无法从增加深度中获益？
• RQ3 随着模型深度的增加，子结构上的注意力容量如何衰减？
• RQ4 显式子结构编码与局部注意力机制是否能恢复注意力容量并提升深层图注意力网络的表征表达能力？
• RQ5 所提方法是否能在更深层次的模型下于标准图基准测试中实现最先进性能？

主要发现

• 图注意力网络在12层以上出现性能瓶颈，更深的模型（如48层）在ZINC和CLUSTER数据集上的表现反而低于浅层基线模型。
• 随着深度增加，子结构上的注意力容量显著衰减，削弱了模型学习并聚焦于关键结构模式的能力。
• DeepGraph在48层模型下于ZINC（测试损失：0.072）和CLUSTER（准确率：77.912）上取得最先进性能，优于所有基线模型。
• 消融实验证实，局部注意力（移除后ZINC上性能下降约0.01）和子结构编码（移除后造成显著性能下降）对深层模型成功至关重要。
• 子结构标记的表征容量远高于节点级别的注意力，验证了其在保持结构信息方面的作用。
• 该模型对子结构类型具有鲁棒性：几何子结构（如环）比基于邻域的子结构更为关键，但结合两者可获得最佳结果。