[论文解读] From Graph Low-Rank Global Attention to 2-FWL Approximation.

Omri Puny, Heli Ben-Hamu+1 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Graph Neural Networks参考文献 37被引用 10

一句话总结

该论文提出低秩全局注意力（LRGA），一种GNN模块，通过与2-Folklore Weisfeiler-Lehman（2-FWL）图同构性测试进行算法对齐，从而提升泛化能力——该测试被证明比顶点着色更具表达力。通过将2-FWL公式化为多项式核，并证明LRGA能以有界样本复杂度近似该核的特征映射，该方法在标准GNN基准测试中实现了最先进性能，兼具理论与实证泛化优势。

ABSTRACT

Graph Neural Networks (GNNs) are known to have an expressive power bounded by that of the vertex coloring algorithm (Xu et al., 2019a; Morris et al., 2018). However, for rich node features, such a bound does not exist and GNNs can be shown to be universal, namely, have the theoretical ability to approximate arbitrary graph functions. It is well known, however, that expressive power alone does not imply good generalization. In an effort to improve generalization of GNNs we suggest the Low-Rank Global Attention (LRGA) module, taking advantage of the efficiency of low rank matrix-vector multiplication, that improves the algorithmic alignment (Xu et al., 2019b) of GNNs with the 2-folklore Weisfeiler-Lehman (FWL) algorithm; 2-FWL is a graph isomorphism algorithm that is strictly more powerful than vertex coloring. Concretely, we: (i) formulate 2-FWL using polynomial kernels; (ii) show LRGA aligns with this 2-FWL formulation; and (iii) bound the sample complexity of the kernel's feature map when learned with a randomly initialized two-layer MLP. The latter means the generalization error can be made arbitrarily small when training LRGA to learn the 2-FWL algorithm. From a practical point of view, augmenting existing GNN layers with LRGA produces state of the art results on most datasets in a GNN standard benchmark.

研究动机与目标

• 解决图神经网络（GNNs）在节点特征丰富图中表达能力与泛化能力之间的差距。
• 通过与比顶点着色更强大的2-Folklore Weisfeiler-Lehman（2-FWL）算法对齐，提升GNN的泛化能力。
• 设计一种可微分且高效的注意力机制，近似2-FWL算法的表达能力，同时保持较低计算成本。
• 理论上界定使用随机初始化的两层MLP学习2-FWL核特征映射的样本复杂度，确保泛化能力。

提出的方法

• 使用多项式核公式化2-FWL算法，实现图结构的可微分且可学习的表示。
• 设计低秩全局注意力（LRGA）模块，作为可微分注意力机制，通过低秩矩阵-向量乘法近似2-FWL核的特征映射。
• 将LRGA作为即插即用模块集成到现有GNN层中，增强表达能力，同时不改变核心架构。
• 理论分析表明，当使用随机初始化的两层MLP时，2-FWL核的特征映射可被以有界样本复杂度学习，从而确保泛化。
• 利用低秩运算的高效性，在保持高表达能力的同时维持可扩展性。

实验结果

研究问题

• RQ1 能否设计一种可学习的注意力机制，使其与比顶点着色更强大的2-FWL图同构性测试对齐？
• RQ2 如何使用多项式核重新表述2-FWL算法，以在GNN中实现可微分学习？
• RQ3 使用随机初始化的两层MLP学习2-FWL核特征映射的样本复杂度是多少？
• RQ4 将LRGA集成到GNN中是否能提升其在标准基准测试中的泛化能力和性能，相较于现有方法？

主要发现

• 2-FWL算法可使用多项式核重新表述，从而实现图结构的可微分且可学习表示。
• LRGA模块与2-FWL核的特征映射对齐，有效捕捉了顶点着色无法表达的高阶图结构。
• 当使用随机初始化的两层MLP时，学习2-FWL核特征映射的样本复杂度是有限的，确保在足够训练数据下实现泛化。
• 在LRGA增强后，现有GNN层在标准GNN基准套件的大多数数据集上达到了最先进性能。