[论文解读] Generalized Laplacian Positional Encoding for Graph Representation Learning

Sohir Maskey, Ali Parviz+4 more|arXiv (Cornell University)|Oct 28, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了一种广义拉普拉斯位置编码（p-PE），通过在嵌入优化问题中用 $p$-范数替代 $L^2$-范数，扩展了传统的拉普拉斯位置编码。该方法通过局部最小化计算节点嵌入，尤其在 $p \to 1$ 时能有效捕捉分子中的环状等复杂图结构，但实验表明在节点分类和图回归任务中，p-PE 的性能通常低于标准的 $2$-PE。

ABSTRACT

Graph neural networks (GNNs) are the primary tool for processing graph-structured data. Unfortunately, the most commonly used GNNs, called Message Passing Neural Networks (MPNNs) suffer from several fundamental limitations. To overcome these limitations, recent works have adapted the idea of positional encodings to graph data. This paper draws inspiration from the recent success of Laplacian-based positional encoding and defines a novel family of positional encoding schemes for graphs. We accomplish this by generalizing the optimization problem that defines the Laplace embedding to more general dissimilarity functions rather than the 2-norm used in the original formulation. This family of positional encodings is then instantiated by considering p-norms. We discuss a method for calculating these positional encoding schemes, implement it in PyTorch and demonstrate how the resulting positional encoding captures different properties of the graph. Furthermore, we demonstrate that this novel family of positional encodings can improve the expressive power of MPNNs. Lastly, we present preliminary experimental results.

研究动机与目标

• 解决消息传递神经网络（MPNNs）的局限性，如表达能力受限和链路预测性能差的问题。
• 通过将基于拉普拉斯的位置编码（LPE）中的 $L^2$-范数任意使用问题推广为任意差异度量函数的优化问题，克服其局限性。
• 提出一种新型的位置编码家族，利用 $p$-范数以更好地捕捉多样化的图属性，包括聚类和环状结构。
• 证明 $p$-PE 可增强 MPNN 的表达能力，特别是在使用 $p$-特征向量时，并探讨其理论与实证潜力。
• 识别在高效优化 $p$-PE 方面的挑战，并为可扩展且高效的基于 $p$-范数的编码提出未来研究方向。

提出的方法

• 通过在目标函数中用一般差异度量函数 $d(\cdot, \cdot)$ 替代 $L^2$-范数，推广标准拉普拉斯嵌入问题：$\min_X \sum_{i,j} a_{ij} d(X_{i,:}, X_{j,:})$，并施加约束 $C(X) = 0$。
• 通过使用 $p$-范数实例化通用框架，将 $p$-PE 定义为一个非凸优化问题的解，该问题在正交性约束下最小化基于 $p$-范数的成对差异。
• 实现一种局部最小化方案以计算 $p$-PE 嵌入，避免完整的特征分解，从而在小 $k$ 情况下实现可扩展性。
• 应用符号翻转和 SignNet（SN）以处理 $p$-PE 中固有的符号模糊性，方法与标准 LPE 类似。
• 将所得 $p$-PE 作为初始节点特征输入 GNN 模型（如 GCN、GIN 和基于 Transformer 的模型）以完成下游任务。
• 理论分析表明，当使用两个或更多 $p$-特征向量时，MPNN 的表达能力严格强于 1-WL 测试，对任意 $p \in (1, \infty)$ 均成立。

实验结果

研究问题

• RQ1 在拉普拉斯位置编码中用 $p$-范数替代 $L^2$-范数，是否能产生更具表达性且结构更合理的节点嵌入？
• RQ2 与标准 $2$-PE 相比，$p$-PE 嵌入在捕捉图属性（如环、聚类或最短路径）方面的能力有何差异？
• RQ3 在节点分类和图回归基准测试中，$p$-PE 的实证性能与 $2$-PE 相比如何？
• RQ4 当使用 $p$-特征向量时，$p$-PE 是否能提升 MPNN 的表达能力，使其超越 1-WL 测试？
• RQ5 在将 $p$-PE 扩展到更大的 $k$ 或更大图时，主要的计算与优化挑战是什么？

主要发现

• 所提出的 $p$-PE 框架通过在嵌入优化中用 $p$-范数替代 $L^2$-范数，推广了拉普拉斯位置编码，从而引入了多样的结构归纳偏置。
• 当 $p \to 1$ 时，$p$-PE 表现为一种软聚类函数，能有效识别分子图中的有意义图结构（如环），如在 ZINC 分子上的可视化所示。
• 尽管具有理论优势，$p$-PE 在 Cora 和 Citeseer 的节点分类任务中仍表现逊于标准 $2$-PE：GCN+1.2-PE 的准确率分别为 83.4% 和 75.2%，而 GCN+No PE 分别达到 83.6% 和 74.7%。
• 在 ZINC-12K 的图回归任务中，$2$-PE-Norm. 在 GINE 模型上实现了最低的测试 MAE（$0.168 \pm 0.02$），而 $1.2$-PE 和 $1.6$-PE 的 MAE 分别为 $0.180 \pm 0.01$ 和 $0.171 \pm 0.00$，表明其性能一致但略逊于 $2$-PE。
• 在 ZINC 数据集上，使用 $2$-PE-Norm. 的 Transformer 模型表现最佳（MAE $0.121 \pm 0.00$），而 $1.2$-PE 和 $1.6$-PE 的 MAE 分别为 $0.133 \pm 0.01$ 和 $0.134 \pm 0.01$，表明在此设置下 $p$-PE 并未超越 $2$-PE。
• 理论结果证实，当至少使用两个 $p$-特征向量时，MPNN 的表达能力严格强于 1-WL 测试，对任意 $p \in (1, \infty)$ 均成立，表明其在理论上具备提升表达能力的潜力，但当前实验中实证收益仍有限。