[论文解读] Equivariant and Stable Positional Encoding for More Powerful Graph Neural Networks

Haorui Wang, Haoteng Yin+2 more|arXiv (Cornell University)|Mar 1, 2022

Advanced Graph Neural Networks被引用 22

一句话总结

本论文提出 PEG，一种对置换等变且对 PE 稳定的 GNN 层，在不引入不稳定性的情况下使用位置编码 PE，实现强的链路预测性能并在真实网络上具有良好的泛化能力。

ABSTRACT

Graph neural networks (GNN) have shown great advantages in many graph-based learning tasks but often fail to predict accurately for a task-based on sets of nodes such as link/motif prediction and so on. Many works have recently proposed to address this problem by using random node features or node distance features. However, they suffer from either slow convergence, inaccurate prediction, or high complexity. In this work, we revisit GNNs that allow using positional features of nodes given by positional encoding (PE) techniques such as Laplacian Eigenmap, Deepwalk, etc. GNNs with PE often get criticized because they are not generalizable to unseen graphs (inductive) or stable. Here, we study these issues in a principled way and propose a provable solution, a class of GNN layers termed PEG with rigorous mathematical analysis. PEG uses separate channels to update the original node features and positional features. PEG imposes permutation equivariance w.r.t. the original node features and imposes $O(p)$ (orthogonal group) equivariance w.r.t. the positional features simultaneously, where $p$ is the dimension of used positional features. Extensive link prediction experiments over 8 real-world networks demonstrate the advantages of PEG in generalization and scalability.

研究动机与目标

• 解决标准 GNN 在节点集合任务（如链路/基元预测）中由于节点身份丢失而带来的局限性。
• 开发一个原理性 GNN 层，在保留置换等变性的同时利用位置编码 PE。
• 确保基于 PE 的 GNN 对图扰动和特征向量不确定性具有稳定性。
• 在使用如拉普拉斯特征映射 LE 等 PE 技术时，提供 PE-等变性与 PE-稳定性的理论保证。
• 展示在真实世界的链路预测基准上的实际收益与可扩展性。

提出的方法

• 提出 PEG，一种 GNN 层，在不同通道中更新原始节点特征 X 和位置信息特征 Z。
• 使 X 关于置换等变，Z 关于 O(p）（旋转/反射）等变，以实现 PE-稳定性。
• 通过特征空间考量确保 PE-稳定性：利用第 p 个和第 p+1 个拉普拉斯特征值的间隙来界定敏感性（定理 3.7）。
• 给出一个具体的 PEG 实现：g_PEG(A,X,Z) = (ψ[(Â ⊙ Ξ) X W], Z) 其中 Ξ_uv = φ(∥Z_u − Z_v∥)。
• 通过矩阵分解 M* = Z′Z^T 将其他 PE 技术（DeepWalk、LINE）推广，并讨论 PE 等变性的条件（定理 3.8）。

实验结果

研究问题

• RQ1 GNN 层在维持置换等变性并在图扰动下实现稳定性的同时，是否可以利用位置编码？
• RQ2 图拉普拉斯算子的特征值结构（特别是第 p 个和第 (p+1) 个间隙）如何影响基于 PE 的 GNN 的稳定性和泛化？
• RQ3 以 PE 为基础的层如 PEG 是否在链路预测性能和跨领域的迁移性方面优于基于 DE 或 RF 的方法？
• RQ4 LE- 或 DW 基的位置信息特征是否可以以保持等变性并提升可扩展性的方式集成到 GNN？
• RQ5 域迁移场景如何影响 PEG 基模型在链路预测任务中的泛化？

主要发现

方法	特征	Cora	Citeseer	Pubmed	Twitch-RU	Twitch-PT	Chameleon
VGAE	N.	89.89 ± 0.06	90.11 ± 0.08	94.62 ± 0.02	83.13 ± 0.07	82.89 ± 0.08	97.98 ± 0.01
VGAE	C.	55.68 ± 0.05	61.45 ± 0.36	69.03 ± 0.03	85.37 ± 0.02	85.69 ± 0.09	83.13 ± 0.04
VGAE	O.	83.97 ± 0.05	77.22 ± 0.04	82.54 ± 0.04	84.76 ± 0.09	87.91 ± 0.05	97.67 ± 0.04
VGAE	P.	83.82 ± 0.12	78.68 ± 0.25	81.74 ± 0.15	85.06 ± 0.14	85.06 ± 0.14	97.91 ± 0.03
VGAE	R.	68.43 ± 0.42	71.21 ± 0.78	69.31 ± 0.23	68.42 ± 0.43	68.49 ± 0.73	73.44 ± 0.53
VGAE	N. + P.	87.96 ± 0.29	80.04 ± 0.60	85.26 ± 0.17	84.59 ± 0.37	88.27 ± 0.19	98.01 ± 0.12
PGNN	N. + P.	86.92 ± 0.02	90.26 ± 0.02	88.12 ± 0.06	83.21 ± 0.00	82.37 ± 0.02	94.25 ± 0.01

• PEG 在 8 个真实网络上的链路预测性能具有竞争力，相对于基于 DE 的基线具有良好的泛化性和可扩展性。
• 使用带 PEG 的 PE 即可获得强结果，不依赖距离编码（DE），在域转移的链路预测中收益更显著。
• PE 稳定性取决于第 p 个和第 p+1 个拉普拉斯特征值之间的特征值间隙，因而比对个别特征向量符号敏感的方法具有更稳定的行为。
• 理论结果（定理 3.6–3.7）保证在将 LE 作为 PE 并满足某些条件时 PEG 的 PE 等变性与 PE 稳定性。
• PEG 可以以 LE 或 DeepWalk 作为 PE 的来源进行实例化，且简化实现 (g_PEG) 展示了其实用性。