[论文解读] Graph Neural Networks with Learnable Structural and Positional Representations

Vijay Prakash Dwivedi, Anh Tuan Luu+3 more|arXiv (Cornell University)|Oct 15, 2021

Advanced Graph Neural Networks参考文献 61被引用 25

一句话总结

本文提出 LSPE，一种将可学习的结构编码与位置编码解耦的框架，用于图神经网络（GNNs），提升表达能力，并在分子基准测试中实现显著提升（例如在两类 GNN 学习 PE 时，改进从 1.79% 到 64.14%）。

ABSTRACT

Graph neural networks (GNNs) have become the standard learning architectures for graphs. GNNs have been applied to numerous domains ranging from quantum chemistry, recommender systems to knowledge graphs and natural language processing. A major issue with arbitrary graphs is the absence of canonical positional information of nodes, which decreases the representation power of GNNs to distinguish e.g. isomorphic nodes and other graph symmetries. An approach to tackle this issue is to introduce Positional Encoding (PE) of nodes, and inject it into the input layer, like in Transformers. Possible graph PE are Laplacian eigenvectors. In this work, we propose to decouple structural and positional representations to make easy for the network to learn these two essential properties. We introduce a novel generic architecture which we call LSPE (Learnable Structural and Positional Encodings). We investigate several sparse and fully-connected (Transformer-like) GNNs, and observe a performance increase for molecular datasets, from 1.79% up to 64.14% when considering learnable PE for both GNN classes.

研究动机与目标

• 解决任意图中缺乏标准化的节点定位的问题，这限制了 GNN 的表达能力。
• 提出一个通用的 LSPE 架构，用于学习结构表示和位置表示。
• 证明 LSPE 能在稀疏 GNN 和类 Transformer 的 GNN 上提升分子基准及其他图的性能。

提出的方法

• 引入 MP-GNNs-LSPE，将位置编码与结构特征解耦并共同学习。
• 使用两种初始位置编码：拉普拉斯特征向量 PE（LapPE）和随机游走 PE（RWPE）。
• 定义层更新，其中 h^{l+1} 依赖于拼接后的 [h^{l}, p^{l}]，且 p^{l+1} 通过一个可学习函数 f_p（式 (Eq. 17)）更新。
• 将 PE 初始化为 LapPE 或 RWPE，并在第 0 层将其嵌入到节点特征中（式 (Eq. 20)）。
• 可选地添加一个位置损失，促使 p^{L} 与 Laplacian 特征向量对齐（Loss_LapEig）。
• 在稀疏 MP-GNN（GatedGCN、PNA）和 Transformer GNN（SAN、GraphiT）上展示 LSPE。

实验结果

研究问题

• RQ1 将结构表示与位置表示解耦并端到端地学习，是否能在任意图上提升 GNN 的表达能力？
• RQ2 可学习的 PE（RWPE 与 LapPE）如何影响稀疏 GNN 与基于 Transformer 的 GNN 的性能与训练动态？
• RQ3 在学习的 PE 上引入 LapEig 启发的损失是否能够提高与图结构的对齐和任务性能？
• RQ4 RWPE 在降低符号歧义和提升分子基准测试性能方面是否比 LapPE 更有效？

主要发现

• 在所考察的模型和数据集上，LSPE 显著提升性能，在 ZINC 上，GatedGCN-RWPE 的 MAE 从 0.202 降至 0.090，且相对于基线的相对增益最高达到 64.14% 。
• 在 MOLTOX21 上，使用 RWPE 的 LSPE 达到 0.7754 的测试 ROC-AUC，接近最佳基线；在 MOLPCBA 上，PNA-LSPE 达到 0.2840 的测试 AP。
• LSPE 能持续提升稀疏 GNN 与 Transformer GNN，且在分子图上，稀疏 MP-GNN 往往在 LSPE 下优于 Transformer GNN。
• 在 ZINC 上，最佳 LSPE 结果超越了若干最新的基线模型，包括 SAN 和 Graphormer，MAE 提升约 26–35%，视具体比较而定。
• 在每一层学习位置表示（相对于固定输入 PE）可得到最佳性能并降低过拟合，尤其是在最终与学习的 PE 拼接时。
• 消融实验表明 RWPE 能减轻 LapPE 固有的符号歧义问题，并为区分图中非同构区域提供更强的位置信号。