[论文解读] Graph and graphon neural network stability

Luana Ruiz, Zhiyang Wang+1 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Graph Neural Networks参考文献 32被引用 6

一句话总结

该论文通过将图神经网络（GNNs）建模为图子神经网络（WNNs）并利用图子信号处理，建立了在图子扰动下图神经网络（GNNs）的理论稳定性边界。研究证明，在滤波器带宽带来的稳定性和可区分性权衡下，随着图大小的增加，GNNs 的稳定性会渐近改善。

ABSTRACT

Graph neural networks (GNNs) are learning architectures that rely on knowledge of the graph structure to generate meaningful representations of large-scale network data. GNN stability is thus important as in real-world scenarios there are typically uncertainties associated with the graph. We analyze GNN stability using kernel objects called graphons. Graphons are both limits of convergent graph sequences and generating models for deterministic and stochastic graphs. Building upon the theory of graphon signal processing, we define graphon neural networks and analyze their stability to graphon perturbations. We then extend this analysis by interpreting the graphon neural network as a generating model for GNNs on deterministic and stochastic graphs instantiated from the original and perturbed graphons. We observe that GNNs are stable to graphon perturbations with a stability bound that decreases asymptotically with the size of the graph. This asymptotic behavior is further demonstrated in an experiment of movie recommendation.

研究动机与目标

• 为解决现实世界图中结构不确定性下 GNN 稳定性的理论理解不足问题。
• 使用图子作为收敛图序列和生成模型的极限来建模图不确定性。
• 通过分析其基于图子的对应模型（WNNs），建立 GNNs 的理论稳定性边界。
• 将稳定性分析从确定性图扩展到由图子生成的随机图。
• 通过谱滤波器约束揭示 GNN 稳定性与可区分性之间的根本权衡。

提出的方法

• 基于图子信号处理理论，将图子神经网络（WNNs）定义为 GNNs 的连续极限。
• 利用从图子核导出的图子移位算子（GSO）在极限下建模图卷积操作。
• 通过谱分析和图子的利普希茨连续性，建立 WNN 对图子扰动的稳定性。
• 应用先前工作中提出的 GNN-WNN 近似框架，将 WNN 的稳定性结果推广至离散 GNNs。
• 利用特征值扰动理论和戴维斯-卡汉定理，对图子扰动下的特征向量差异进行边界估计。
• 通过集中不等式和图子度正则性，推导 GNN 输出差异的概率边界。

实验结果

研究问题

• RQ1 图子扰动如何影响图神经网络的输出稳定性？
• RQ2 随着图大小的增加，GNN 稳定性的渐近行为如何？
• RQ3 在图扰动下，是否存在 GNN 稳定性与可区分性之间的权衡？
• RQ4 GNN 在由图子实例化的确定性图与随机图上的稳定性有何不同？
• RQ5 WNN 的理论稳定性边界能否推广到有限图上的实际 GNN？

主要发现

• GNNs 对图子扰动具有稳定性，且稳定性边界随图大小增加而渐近减小。
• 稳定性边界按 $ \mathcal{O}\left(\frac{\sqrt{\log n}}{\sqrt{n}}\right) $ 缩放，表明随着图变大，对扰动的敏感度逐渐降低。
• GNN 稳定性与可区分性之间存在权衡，受图卷积滤波器通带的约束。
• 在 WNN 近似框架下，由图子实例化的确定性图上的 GNN 稳定性可得到保证。
• 在相同渐近缩放下，由图子生成的随机图上，GNN 的稳定性以高概率得以保持。
• 分析表明，最小特征值间隙 $ \delta_c^{(pq)} $ 和滤波器带内特征值数量 $ n_c^{(q)} $ 对稳定性边界具有关键影响。