[论文解读] Fundamental Limits of Deep Graph Convolutional Networks

Abram Magner, Mayank Baranwal+1 more|arXiv (Cornell University)|Oct 28, 2019

Advanced Graph Neural Networks参考文献 34被引用 5

一句话总结

本文建立了深度图卷积网络（GCNs）在区分由图子参数化的不同随机图模型方面的基本理论极限。研究表明，当GCN的深度在图规模的对数级别时，即使图子之间在切距离上明显分离，具有非线性激活函数的GCN也无法区分某些图子，这是由于度分布接近性特性所致；而在该范围之外，更简单的架构即可满足需求；实验结果证实，不可区分的图分布确实在实践中出现。

ABSTRACT

Graph convolutional networks (GCNs) are a widely used method for graph representation learning. To elucidate the capabilities and limitations of GCNs, we investigate their power, as a function of their number of layers, to distinguish between different random graph models (corresponding to different class-conditional distributions in a classification problem) on the basis of the embeddings of their sample graphs. In particular, the graph models that we consider arise from graphons, which are the most general possible parameterizations of infinite exchangeable graph models and which are the central objects of study in the theory of dense graph limits. We give a precise characterization of the set of pairs of graphons that are indistinguishable by a GCN with nonlinear activation functions coming from a certain broad class if its depth is at least logarithmic in the size of the sample graph. This characterization is in terms of a degree profile closeness property. Outside this class, a very simple GCN architecture suffices for distinguishability. We then exhibit a concrete, infinite class of graphons arising from stochastic block models that are well-separated in terms of cut distance and are indistinguishable by a GCN. These results theoretically match empirical observations of several prior works. To prove our results, we exploit a connection to random walks on graphs. Finally, we give empirical results on synthetic and real graph classification datasets, indicating that indistinguishable graph distributions arise in practice.

研究动机与目标

• 理论分析GCN区分不同随机图模型（特别是由图子参数化的模型）的能力。
• 研究层数数量和非线性存在与否对GCN判别能力的影响。
• 识别尽管理论上具备潜力，GCN仍无法区分图子的条件。
• 将GCN行为与图上的随机游走混合时间及度分布特性联系起来。
• 通过合成图和真实图数据集的实验结果验证理论发现。

提出的方法

• 使用图子作为无限可交换随机图模型最一般的参数化方式，表示稠密图极限下的图分布。
• 通过与图上随机游走的联系分析GCN行为，将节点特征在各层间的传播建模为马尔可夫过程。
• 应用总变差距离来量化在GCN推理下，两个图子输出分布的可区分性。
• 利用随机游走的混合时间分析，界定达到无限层数极限所需的层数。
• 引入度分布接近性特性作为关键条件，解释为何即使图子在切距离上明显分离，GCN仍无法区分它们。
• 使用耦合论证和集中不等式，推导出区分图子的错误概率边界。

实验结果

研究问题

• RQ1 在何种条件下，具有非线性激活函数的深层GCN即使在切距离上明显分离，仍无法区分两个图子？
• RQ2 GCN的深度如何影响其区分图子的能力，特别是与底层随机游走的混合时间的关系如何？
• RQ3 图的度分布结构在决定GCN判别能力方面起什么作用？
• RQ4 对于足够深且具有非线性的GCN，是否能够可靠地区分所有不属于特定例外类的图子对？
• RQ5 在图分类中观察到的GCN局限性在多大程度上与理论分析一致？

主要发现

• 当GCN的深度至少为节点数的对数级别时，具有非线性激活函数的GCN由于度分布接近性特性，无法区分某些图子对。
• 对于不满足度分布条件的图子（即不在例外类中的图子），即使使用非常简单的GCN架构，也足以实现可区分性。
• 存在一个具体的无限图子类（即随机块模型图子），它们在切距离上明显分离，但由于度分布相似性，GCN无法区分。
• 在两个此类图子上训练的GCN输出分布之间的总变差距离与1保持非零距离，意味着分类最优错误概率存在非平凡下界。
• 在合成图和真实图数据集上的实验结果证实，不可区分的图分布确实在实践中出现，验证了理论发现。
• 结果表明，增加嵌入维度可能提升图子判别性能，尽管这仍需进一步研究。