[论文解读] Graph Neural Networks Exponentially Lose Expressive Power for Node Classification

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|May 27, 2019

Advanced Graph Neural Networks参考文献 57被引用 184

一句话总结

本文表明，随着层数增加，图卷积网络（GCN）因图谱特性而呈指数级丧失表达能力，导致在稠密图上的信息损失，并提出在实证数据上测试的权重归一化指南。

ABSTRACT

Graph Neural Networks (graph NNs) are a promising deep learning approach for analyzing graph-structured data. However, it is known that they do not improve (or sometimes worsen) their predictive performance as we pile up many layers and add non-lineality. To tackle this problem, we investigate the expressive power of graph NNs via their asymptotic behaviors as the layer size tends to infinity. Our strategy is to generalize the forward propagation of a Graph Convolutional Network (GCN), which is a popular graph NN variant, as a specific dynamical system. In the case of a GCN, we show that when its weights satisfy the conditions determined by the spectra of the (augmented) normalized Laplacian, its output exponentially approaches the set of signals that carry information of the connected components and node degrees only for distinguishing nodes. Our theory enables us to relate the expressive power of GCNs with the topological information of the underlying graphs inherent in the graph spectra. To demonstrate this, we characterize the asymptotic behavior of GCNs on the Erdős -- Rényi graph. We show that when the Erdős -- Rényi graph is sufficiently dense and large, a broad range of GCNs on it suffers from the "information loss" in the limit of infinite layers with high probability. Based on the theory, we provide a principled guideline for weight normalization of graph NNs. We experimentally confirm that the proposed weight scaling enhances the predictive performance of GCNs in real data. Code is available at https://github.com/delta2323/gnn-asymptotics.

研究动机与目标

• 理解图神经网络的表达能力如何随着深度增加而退化。
• 将GCN的渐近行为与底层图的谱特性联系起来。
• 描述稠密图和Erdős–Rényi图上的信息损失。
• 提供基于原理的权重归一化指南，以缓解图神经网络中的过平滑。

提出的方法

• 将GCN的前向传播建模为一个以线性算子P作用于节点特征上的MLP组成的动态系统。
• 定义不变子空间M = U ⊗ R^C，其中U具有非负正交基向量且对P不变。
• 证明 d_M(f_l(X)) ≤ s_l λ d_M(X)，其中 s_l 是各层权重奇异值的乘积，λ 与扩展的归一化拉普拉斯算子的谱相关。
• 将一般结果特化到带扩展归一化拉普拉斯算子的GCN，并表明 X^(l) 以速率 (sλ)^l 收敛到M。
• 将该理论应用于 Erdős–Rényi 图 G_{N,p}，推导在高概率下发生信息损失的条件。
• 给出基于谱参数λ的权重归一化指南，并在真实数据上进行实证验证。

实验结果

研究问题

• RQ1 在什么谱条件下，GCN 随着深度增加而失去区分节点的能力？
• RQ2 扩展归一化拉普拉斯算子的谱如何决定GCN的信息保持或丢失？
• RQ3 基于原理的权重归一化是否能抵消过平滑并提升真实图上的深层GCN性能？
• RQ4 Erdős–Rényi 图是否表现出深度诱导的信息损失，图的密度如何影响这种行为？

主要发现

• GCN 的输出随着深度增加趋向于与最低频率图拉普拉斯分量相关的不变子空间 M。
• 到不变空间的距离满足 d_M(f_l(X)) ≤ (∏_h s_lh) λ d_M(X)，当 sλ < 1 时，指示对M的指数收敛。
• 在足够稠密且较大的 Erdős–Rényi 图上，随着层数增加，许多GCN在高概率下出现信息损失。
• 存在一个权重缩放阈值（sλ），决定深层GCN是保留判别信息还是收敛到不变空间。
• 经验实验表明，按理论指导的权重归一化可以在真实数据集上提高预测性能（例如 Cora 的合成稠密图，以及真实图的带噪声版本）。
• 分析通过扩展的归一化拉普拉斯谱将图神经网络的表达能力与拓扑信息联系起来。