[论文解读] Characterizing the Expressive Power of Invariant and Equivariant Graph Neural Networks.

Waïss Azizian, Marc Lelarge|arXiv (Cornell University)|Jun 28, 2020

Advanced Graph Neural Networks参考文献 32被引用 9

一句话总结

本文提出了一套理论框架，用于比较不变性与等变图神经网络（GNNs）的表达能力，证明了对实际GNN架构的首个近似保证。它识别出‘常识GNN’（FGNNs）——基于张量且使用矩阵乘法的GNN——为给定张量阶次下表达能力最强的模型，在NP难的二次分配问题（Quadratic Assignment Problem）上表现优于现有方法。

ABSTRACT

Various classes of Graph Neural Networks (GNN) have been proposed and shown to be successful in a wide range of applications with graph structured data. In this paper, we propose a theoretical framework able to compare the expressive power of these GNN architectures. The current universality theorems only apply to intractable classes of GNNs. Here, we prove the first approximation guarantees for practical GNNs, paving the way for a better understanding of their generalization. Our theoretical results are proved for invariant GNNs computing a graph embedding (permutation of the nodes of the input graph does not affect the output) and equivariant GNNs computing an embedding of the nodes (permutation of the input permutes the output). We show that Folklore Graph Neural Networks (FGNN), which are tensor based GNNs augmented with matrix multiplication are the most expressive architectures proposed so far for a given tensor order. We illustrate our results on the Quadratic Assignment Problem (a NP-Hard combinatorial problem) by showing that FGNNs are able to learn how to solve the problem, leading to much better average performances than existing algorithms (based on spectral, SDP or other GNNs architectures). On a practical side, we also implement masked tensors to handle batches of graphs of varying sizes.

研究动机与目标

• 开发一套理论框架，用于比较不变性和等变GNN的表达能力。
• 为实际GNN架构提供近似保证，解决先前普遍性定理仅适用于不可计算类别的局限性。
• 识别在给定张量阶次下表达能力最强的GNN架构，重点关注FGNNs。
• 评估FGNNs在复杂组合优化问题（如二次分配问题）上的实际性能。
• 通过在GNN实现中使用掩码张量，实现对不同大小图的高效批量处理。

提出的方法

• 基于排列不变性和等变性，提出一种理论分析框架，用于比较GNN架构。
• 将FGNNs形式化为增强矩阵乘法操作的张量基GNN，以提升表达能力。
• 在固定张量阶次的约束下，为FGNNs建立近似保证，使其可与其它实际GNN进行比较。
• 实现掩码张量，以在训练过程中高效处理大小各异的图批量。
• 将FGNNs应用于二次分配问题（QAP），利用其学习解决方案启发式方法。
• 在QAP基准上，将FGNN性能与谱方法、半定规划（SDP）及其他GNN架构进行比较。

实验结果

研究问题

• RQ1 在实际模型中，对于给定的张量阶次，哪种GNN架构具有最高的表达能力？
• RQ2 是否可以为现实世界中的GNN架构建立理论近似保证，而不仅限于不可计算的通用类别？
• RQ3 FGNNs在泛化能力和求解NP难组合优化问题（如二次分配问题）方面表现如何？
• RQ4 使用掩码张量对GNN训练中可变大小图批量的效率和可扩展性有何影响？
• RQ5 在复杂优化任务中，FGNN的表达能力与现有GNN及非GNN方法相比如何？

主要发现

• 证明了在实际模型中，FGNNs是给定张量阶次下表达能力最强的GNN架构。
• FGNNs在二次分配问题上的平均性能显著优于现有算法，包括谱方法、SDP及其他基于GNN的方法。
• 为FGNNs建立了理论近似保证，其适用范围超越了仅适用于不可计算GNN类别的普遍性定理。
• 掩码张量实现了对不同大小图的高效批量处理，提升了真实图数据训练的效率。
• 结果表明，像FGNNs这样的高表达能力GNN架构能够有效学习求解复杂组合优化问题。
• 本研究通过正式比较表达能力，为理解实际GNN的泛化能力提供了基础。