[论文解读] Convergence and Stability of Graph Convolutional Networks on Large Random Graphs

Nicolas Keriven, Alberto Bietti+1 more|arXiv (Cornell University)|Jun 2, 2020

Opportunistic and Delay-Tolerant NetworksComputer Science被引用 18

一句话总结

该论文通过连续极限框架，为大规模随机图上的图卷积网络（GCNs）建立了非渐近收敛与稳定性保证。通过将图建模为潜在变量和相似性核，证明了在相对稀疏条件下（平均度数 ∼ log n），GCNs 能够收敛到其连续对应物，并引入基于形变的稳定性度量，将欧几里得卷积神经网络的稳定性理论推广至图结构。

ABSTRACT

We study properties of Graph Convolutional Networks (GCNs) by analyzing their behavior on standard models of random graphs, where nodes are represented by random latent variables and edges are drawn according to a similarity kernel. This allows us to overcome the difficulties of dealing with discrete notions such as isomorphisms on very large graphs, by considering instead more natural geometric aspects. We first study the convergence of GCNs to their continuous counterpart as the number of nodes grows. Our results are fully non-asymptotic and are valid for relatively sparse graphs with an average degree that grows logarithmically with the number of nodes. We then analyze the stability of GCNs to small deformations of the random graph model. In contrast to previous studies of stability in discrete settings, our continuous setup allows us to provide more intuitive deformation-based metrics for understanding stability, which have proven useful for explaining the success of convolutional representations on Euclidean domains.

研究动机与目标

• 解决现有理论对大规模、非同构图上GCN行为理解不足的问题，其中离散同构性概念不再适用。
• 克服先前稳定性分析依赖于离散且难以直观理解的图距离度量的局限性。
• 为平均度数随节点数量对数增长的相对稀疏随机图上的GCNs提供非渐近收敛边界。
• 建立一个连续框架，以定义直观的、基于几何形变的图结构度量，类比于欧几里得信号处理中的方法。
• 将离散图信号距离与连续极限下的Wasserstein型度量关联起来，从而获得新的理论稳定性洞见。

提出的方法

• 使用潜在空间表示建模大规模随机图，其中节点为从某一分布中独立同分布抽取，边通过相似性核生成。
• 通过用作用于潜在空间函数上的积分算子替代图拉普拉斯矩阵，定义离散GCN的连续对应物。
• 利用Schur不等式控制GCN各层的算子范数，确保在扰动下的稳定性。
• 应用广义Hoeffding不等式与谱集中性结果，控制经验图算子与期望图算子之间的偏差。
• 引入连续图信号之间的Wasserstein型度量，以量化在底层图模型发生微小形变时的稳定性。
• 通过分析图拉普拉斯算子在各层间差异的传播，建立GCN各层的递归Lipschitz边界。

实验结果

研究问题

• RQ1 当随机图中节点数量增加时，GCNs如何收敛到连续极限，特别是在稀疏条件下？
• RQ2 是否能够使用连续的、几何形变度量而非离散图距离，来形式化GCNs对结构扰动的稳定性？
• RQ3 对于平均度数 ∼ log n 的相对稀疏随机图，GCNs的非渐近收敛边界是什么？
• RQ4 连续极限框架如何将离散图信号距离与连续表示空间中的度量关联起来？
• RQ5 GCNs的理论稳定性在多大程度上可从欧几里得域推广至非欧几里得图结构？

主要发现

• 论文在平均度数随节点数对数增长的相对稀疏随机图模型下，建立了GCNs向其连续对应物的非渐近收敛性。
• 该收敛结果无需相似性核光滑或远离零，从而拓宽了对SBM和ε-图等模型的适用性。
• 通过连续图信号表示之间的Wasserstein型度量，刻画了对小图形变的稳定性，提供了类比于CNN的几何解释。
• 对于排列等变的GCNs，论文首次将离散图信号距离与连续极限下的Wasserstein距离关联起来，这是文献中此前未观察到的新联系。
• 利用归一化拉普拉斯矩阵的谱集中性边界，在边概率满足弱假设下，以高概率控制经验与期望图算子之间的偏差。
• 该分析得出了适用于有限样本的GCN泛化误差与稳定性的显式边界，即使在图不稠密时也成立，克服了以往仅限于渐近或稠密图分析的局限性。