[论文解读] Generalization bounds for graph convolutional neural networks via Rademacher complexity

Shaogao Lv|arXiv (Cornell University)|Feb 20, 2021

Advanced Graph Neural Networks参考文献 28被引用 4

一句话总结

该论文利用Rademacher复杂度，为单隐藏层图卷积网络（GCNs）建立了紧致的一般化边界，表明这些边界明确依赖于图卷积滤波器的最大特征值以及图的度分布。论文证明了上界和匹配的下界，展示了所推导复杂度估计的最优性，并为GCN中滤波器和图结构设计提供了理论依据。

ABSTRACT

This paper aims at studying the sample complexity of graph convolutional networks (GCNs), by providing tight upper bounds of Rademacher complexity for GCN models with a single hidden layer. Under regularity conditions, theses derived complexity bounds explicitly depend on the largest eigenvalue of graph convolution filter and the degree distribution of the graph. Again, we provide a lower bound of Rademacher complexity for GCNs to show optimality of our derived upper bounds. Taking two commonly used examples as representatives, we discuss the implications of our results in designing graph convolution filters an graph distribution.

研究动机与目标

• 使用Rademacher复杂度为单隐藏层GCNs提供精确的一般化边界。
• 分析图结构（特别是图卷积滤波器的最大特征值和度分布）如何影响一般化性能。
• 建立Rademacher复杂度的上界和下界，以证明所推导边界的最优性。
• 通过量化其对一般化的影响，指导图卷积滤波器和图分布的设计。
• 将GCN一般化理论理解扩展至标准深度学习设置之外，考虑图特有的结构依赖性。

提出的方法

• 利用谱图理论，在参数范数约束下推导出GCNs经验Rademacher复杂度的上界。
• 利用图拉普拉斯矩阵和图卷积滤波器的谱特性，刻画假设类的复杂度。
• 通过对称化和压缩论证，利用滤波器的最大特征值和度分布来界定期望Rademacher复杂度。
• 通过精心选择输入特征并利用滤波器矩阵的结构，构造出Rademacher复杂度的下界。
• 证明上界和下界在量级上一致，从而证明所推导复杂度边界的最优性。
• 分析两种常见的图卷积滤波器——未归一化（A+I）和归一化（D⁻¹A+I）——以说明一般性结果的含义。

实验结果

研究问题

• RQ1 图卷积滤波器的最大特征值在多大程度上影响GCNs的一般化性能？
• RQ2 图的度分布在何种方式下影响GCNs的Rademacher复杂度和一般化边界？
• RQ3 能否为单隐藏层GCNs推导出紧致的上界和下界，以证明边界的最优性？
• RQ4 不同的图卷积滤波器（未归一化与归一化）如何影响GCNs中的一般化差距？
• RQ5 图结构属性（如正则性或随机图模型，例如Erdős–Rényi模型）在多大程度上影响一般化边界？

主要发现

• GCNs的一般化边界按 O(λ_max(g(L)) q^{3/2} m^{-1/2}) 缩放，其中 λ_max 为图滤波器的最大特征值，q 为最大度。
• 对于边概率为 Ω(log n / n) 的Erdős–Rényi图，使用未归一化滤波器（A+I）时，边界为 O(log^{5/2}(n) m^{-1/2})。
• 对于有界度的正则图（q=O(1)），边界简化为 O(m^{-1/2})，与图大小 n 无关，与标准欧几里得深度学习模型一致。
• 使用归一化滤波器（D⁻¹A+I）时，Erdős–Rényi图的边界改善为 O(log^{3/2}(n) m^{-1/2})，相比未归一化情况实现了 log(n) 的改进。
• Rademacher复杂度的下界在量级上与上界匹配，证明了所推导上界是最优的。
• 结果表明，图滤波器的谱特性和度分布是控制GCNs中一般化误差的关键因素。