[论文解读] Graph Neural Networks with Learnable Structural and Positional Representations

Vijay Prakash Dwivedi, Anh Tuan Luu+3 more|arXiv (Cornell University)|Oct 15, 2021

Machine Learning in Materials Science被引用 62

一句话总结

本文提出 MP-GNNs-LSPE，通过将可学习的结构编码和位置编码解耦来提升表达能力，采用 RWPE 或 LapPE 作为初始化并使用专门的损失函数，在分子及其他图数据集上取得显著提升。

ABSTRACT

Graph neural networks (GNNs) have become the standard learning architectures for graphs. GNNs have been applied to numerous domains ranging from quantum chemistry, recommender systems to knowledge graphs and natural language processing. A major issue with arbitrary graphs is the absence of canonical positional information of nodes, which decreases the representation power of GNNs to distinguish e.g. isomorphic nodes and other graph symmetries. An approach to tackle this issue is to introduce Positional Encoding (PE) of nodes, and inject it into the input layer, like in Transformers. Possible graph PE are Laplacian eigenvectors. In this work, we propose to decouple structural and positional representations to make easy for the network to learn these two essential properties. We introduce a novel generic architecture which we call LSPE (Learnable Structural and Positional Encodings). We investigate several sparse and fully-connected (Transformer-like) GNNs, and observe a performance increase for molecular datasets, from 1.79% up to 64.14% when considering learnable PE for both GNN classes.

研究动机与目标

• 通过引入与结构表示解耦的可学习位置编码，解决通用 GNNs 的经典定位限制。
• 提出 LSPE 作为一个通用框架，用可学习的位置信息增强 MP-GNNs 与 Transformer GNNs。
• 在分子基准数据集（ZINC、MOLTOX21、MOLPCBA）以及非分子图上评估 LSPE，以展示广泛的改进。
• 展示可学习的 PE（尤其是 RWPE）在稀疏和全连接 GNN 变体上均能提升性能，同时保持可扩展的复杂度。

提出的方法

• 提出 MP-GNNs-LSPE 架构，将结构特征 h 与可学习的位置特征 p 解耦，并在每层更新。
• 引入两种初始位置编码：Laplacian PE (LapPE) 与 Random Walk PE (RWPE)；RWPE 仅使用 RWii 条目以降低复杂度。
• 定义 LSPE 层更新为 h^{l+1} = f_h([h^l; p^l], { [h_j^l; p_j^l] }_{j in N_i}, e_{ij}^l), e^{l+1}_{ij} = f_e(h^l_i, h^l_j, e^l_{ij}), p^{l+1}_i = f_p(p^l_i, { p^l_j }_{j in N_i}, e^l_{ij}).
• 初始节点/边特征嵌入： h_i^{l=0} = LL_h(h_i^{in}) 和 e_{ij}^{l=0} = LL_e(e_{ij}^{in}).
• 位置编码损失：可选 Loss_LapEig(p^{l=L}) 以促使接近 Laplacian 特征向量的坐标系，最终总损失为 TaskLoss([h^{L}; p^{L}]) + alpha Loss_LapEig(p^{L}).
• 实例化：将 LSPE 应用于稀疏 MP-GNNs（GatedGCN、PNA、SAN、GraphiT）和 Transformer GNNs，形成 GatedGCN-LSPE、PNA-LSPE、SAN-LSPE、GraphiT-LSPE。

实验结果

研究问题

• RQ1 通过 LSPE 解耦结构编码和位置编码，是否能提升 MP-GNNs 与 Transformer GNNs 在多样图任务上的表达能力？
• RQ2 在不同架构和数据集上，RWPE 与 LapPE 作为初始 PE 的比较是什么？
• RQ3 在每一层学习 PE 与仅在输入或最终层注入固定预计算 PE 的效果有何差异？
• RQ4 在分子基准数据集（ZINC、MOLTOX21、MOLPCBA）及非分子图上的实际性能提升是多少？
• RQ5 LSPE 相对于标准 MP-GNNs 与 Transformer GNNs 是否保持可扩展性和训练效率？

主要发现

• 在没有位置编码的情况下，GNN 在各数据集上的性能下降；加入位置编码显著提升结果。
• 以 RWPE 作为初始 PE 并结合 LSPE 可带来显著改进，部分模型在 ZINC 上实现了 64.14% 的相对增益。
• GatedGCN-LSPE 实现 ZINC 测试 MAE 0.090 的最佳成绩，优于若干基线，在领域无关的 GNNs 中达到 SOTA。
• LSPE 在 MOLTOX21 和 MOLPCBA 上提供可比或更好的性能，有时达到这些数据集的 SOTA。
• 在分子图上，使用 LSPE 的稀疏 GNNs 的性能超过使用 LSPE 的 Transformer GNNs，同时训练时间更短。
• 在每一层学习位置表示可获得最佳性能，RWPE 有助于缓解与 LapPE 相关的符号模糊问题。