[论文解读] What graph neural networks cannot learn: depth vs width

Andreas Loukas|arXiv (Cornell University)|Jul 6, 2019

Advanced Graph Neural Networks参考文献 54被引用 23

一句话总结

该论文证明，在足够深、足够宽、节点属性表达能力强且层容量充足的条件下，消息传递图神经网络（GNN）具备图灵通用性，但若深度与宽度的乘积未超过图大小的多项式边界，则无法解决诸如环检测、最短路径或最小点覆盖等基本图问题。关键贡献在于提出了一种新颖的下界技术，重新利用分布式计算的研究成果，证明当深度与宽度受限时，GNN会显著损失表达能力。

ABSTRACT

This paper studies the expressive power of graph neural networks falling within the message-passing framework (GNNmp). Two results are presented. First, GNNmp are shown to be Turing universal under sufficient conditions on their depth, width, node attributes, and layer expressiveness. Second, it is discovered that GNNmp can lose a significant portion of their power when their depth and width is restricted. The proposed impossibility statements stem from a new technique that enables the repurposing of seminal results from distributed computing and leads to lower bounds for an array of decision, optimization, and estimation problems involving graphs. Strikingly, several of these problems are deemed impossible unless the product of a GNNmp's depth and width exceeds a polynomial of the graph size; this dependence remains significant even for tasks that appear simple or when considering approximation.

研究动机与目标

• 确定消息传递GNN在学习复杂图论函数方面的理论极限。
• 识别GNN实现图灵通用性的条件，从而能够计算图上任意可计算函数。
• 分析限制深度与宽度如何影响GNN解决图上的决策、优化和估计问题的能力。
• 为解决各类图问题建立对必要深度-宽度乘积（dw）的下界，表明即使简单任务也需超常数容量。
• 研究节点属性在促进或阻碍GNN表达能力方面的作用，特别是在区分节点和跨图泛化方面。

提出的方法

• 重新利用分布式计算中的经典成果，特别是LOCAL模型，推导GNN容量的下界。
• 在充分条件下建立GNN与LOCAL模型的等价性，证明当深度、宽度、节点唯一性及层表达能力足够时，GNN具备图灵通用性。
• 通过分析GNN中信息传播的半径，结合分布式计算的下界结果，推导出不可能性结果。
• 提出一种新技术，将分布式算法的下界结果转化为解决特定图问题时对GNN深度与宽度的约束。
• 通过在4-环分类任务上进行受控实验，对理论预测进行实证验证，变量包括深度、宽度和节点属性类型。
• 通过临界容量对深度与宽度进行归一化，揭示测试准确率的相变现象，表明在容量充足时深度与宽度可互换。

实验结果

研究问题

• RQ1 在何种条件下，消息传递GNN能够计算图灵机可计算的任意函数？
• RQ2 为解决诸如环检测或最短路径等基本图问题，GNN所需的最小深度-宽度乘积（dw）是多少？
• RQ3 使用区分性节点属性（如唯一ID）如何影响GNN在跨图泛化及解决原本不可能任务方面的能力？
• RQ4 当深度-宽度乘积超过临界阈值时，GNN性能是否存在相变现象？该阈值是否独立于深度与宽度的具体取值？
• RQ5 在固定容量（dw）下，GNN设计中深度与宽度在多大程度上可互换而不影响性能？

主要发现

• 当GNN具备足够的深度、宽度、节点属性表达能力及层容量时，其具备图灵通用性，能够计算图上任意可计算函数。
• 对于奇数长度环的环检测，需要满足 $ dw = \tilde{\Omega}(n / \log n) $，表明其对图大小有强烈依赖。
• 对于最小点覆盖和最大独立集等问题，当宽度为常数时，需要 $ dw = \tilde{\Omega}(n^2 / \log^2 n) $，显示出显著的容量瓶颈。
• 即使对于近似任务（如直径的 $ \frac{3}{2} $-近似），也需要 $ dw = \tilde{\Omega}(\sqrt{n} / \log n) $，凸显近似无法降低对容量的需求。
• 实证结果证实，测试准确率与 $ dw $ 密切相关，在临界容量阈值以上出现急剧相变，且当 $ dw < \text{临界} $ 时，无论深度与宽度如何分布，网络均会失败。
• 具备唯一节点ID的GNN在 $ n \leq 16 $ 时对4-环分类任务达到100%测试准确率，但在 $ n = 40 $ 时即使使用最强大的架构，准确率也降至80%以下，证实了理论限制的存在。