[论文解读] Graph Positional and Structural Encoder

Semih Cantürk, Renming Liu+5 more|arXiv (Cornell University)|Jul 14, 2023

Advanced Graph Neural NetworksComputer Science被引用 3

一句话总结

本文提出了图位置与结构编码器（GPSE），一种可学习的图编码器，能够从图拓扑中联合捕捉位置信息与结构信息，替代图神经网络（GNN）中手工设计的位置与结构编码（PSEs）。GPSE 在多样化的图数据集上使用随机节点特征进行预训练，以确保其表达能力，在 ZINC 和 Peptides-struct 上实现了最先进性能，并在不同尺寸、连通性及模态的数据集之间展现出良好的泛化能力。

ABSTRACT

Positional and structural encodings (PSE) enable better identifiability of nodes within a graph, rendering them essential tools for empowering modern GNNs, and in particular graph Transformers. However, designing PSEs that work optimally for all graph prediction tasks is a challenging and unsolved problem. Here, we present the Graph Positional and Structural Encoder (GPSE), the first-ever graph encoder designed to capture rich PSE representations for augmenting any GNN. GPSE learns an efficient common latent representation for multiple PSEs, and is highly transferable: The encoder trained on a particular graph dataset can be used effectively on datasets drawn from markedly different distributions and modalities. We show that across a wide range of benchmarks, GPSE-enhanced models can significantly outperform those that employ explicitly computed PSEs, and at least match their performance in others. Our results pave the way for the development of foundational pre-trained graph encoders for extracting positional and structural information, and highlight their potential as a more powerful and efficient alternative to explicitly computed PSEs and existing self-supervised pre-training approaches. Our framework and pre-trained models are publicly available at https://github.com/G-Taxonomy-Workgroup/GPSE. For convenience, GPSE has also been integrated into the PyG library to facilitate downstream applications.

研究动机与目标

• 为解决图神经网络（GNN）中缺乏统一且可迁移的位置与结构编码（PSEs）学习方法，特别是针对图 Transformer 的问题。
• 克服手工设计 PSEs 的局限性，这些 PSEs 在不同任务中效果不一，且缺乏泛化能力。
• 开发一种预训练图编码器，以在多样化图分布中学习丰富且共享的位置与结构信息表示。
• 实现在不同尺寸、连通性模式及模态的数据集之间对 PSE 表示的迁移学习。
• 为显式计算的 PSEs 和图表示学习中的自监督预训练方法提供一种可行的替代方案。

提出的方法

• GPSE 是一种可学习的图编码器，在预训练阶段同时从图结构预测多种类型的 PSEs（如拉普拉斯特征向量、随机游走编码、热核特征等）。
• 在预训练过程中使用随机节点特征（标准正态分布）以打破对称性，确保即使在 1-WL 限制下，非同构图也能被区分。
• 通过结合多种 PSE 类型的平均绝对误差（MAE）与余弦损失的多任务目标进行训练，以学习统一的潜在表示。
• 将预训练的 GPSE 编码器微调或直接作为节点特征应用于下游 GNN，替代传统 PSEs 或原始节点特征。
• 该架构兼容消息传递 GNN（如 GIN、GatedGCN）和图 Transformer，具备广泛适用性。
• 通过将同一预训练 GPSE 编码器应用于具有不同图统计特性与模态的数据集（包括分子、社交及合成图）来评估其可迁移性。

Figure 1 : Overview of Graph Positional and Structural Encoder ( GPSE ) training and application.

实验结果

研究问题

• RQ1 单一可学习编码器能否有效捕捉来自图拓扑的多样化位置与结构编码模式？
• RQ2 GPSE 在不同尺寸、连通性模式及数据模态的数据集之间是否具备泛化能力？
• RQ3 与手工设计的 PSEs 及自监督预训练方法相比，GPSE 是否能提升下游 GNN 的性能？
• RQ4 使用随机节点特征在使 GPSE 区分非同构图方面有多关键？
• RQ5 在不造成性能下降的前提下，GPSE 能在多大程度上替代显式计算的 PSEs？

主要发现

• GPSE 在 ZINC 和 Peptides-struct 基准测试中实现了最先进性能，优于使用传统 PSEs 的模型。
• 在 PCQM4Mv2 数据集上，当在 MolPCBA 上预训练并微调后，GPSE 的测试 MAE 达到 0.1196 ± 0.0004，展现出强大的可迁移性。
• 随机节点特征的引入至关重要：当节点特征为常量时，GPSE 无法区分非同构图（如 HEXAGON 与 PENTAGON），但使用随机特征时则能成功区分。
• 在下游数据集上微调 GPSE 可持续提升性能，GEOM 上的 MAE 从 0.0707 降至 0.0685，ChEMBL 上的 MAE 从 0.0667 降至 0.0643。
• 在大规模数据集（如 MolPCBA，含 323,555 个图）上进行 GPSE 预训练可实现强泛化能力，测试损失随训练规模增加而显著下降：从 5% 的 0.06939 降至 80% 的 0.01219。
• 消融研究显示，预训练阶段排除任一 PSE 任务对性能影响极小，表明模型对不同 PSE 类型具有鲁棒性与互补性学习能力。

Figure 2 : Virtual node, convolution type, and layers ablation using 5% MolPCBA for training GPSE .