[论文解读] Graph Convolution for Semi-Supervised Classification: Improved Linear Separability and Out-of-Distribution Generalization

Aseem Baranwal, Kimon Fountoulakis+1 more|arXiv (Cornell University)|Feb 13, 2021

Machine Learning and Data Classification参考文献 40被引用 9

一句话总结

本文研究了在具有高斯混合属性的上下文随机块模型下，半监督节点分类中图卷积的作用。结果表明，图卷积可使线性可分性提升约 $1/\sqrt{D}$ 倍，其中 $D$ 为节点的期望度数；同时，该方法可使分类器在训练数据中类内与类间边概率不同的分布外图上实现泛化。

ABSTRACT

Recently there has been increased interest in semi-supervised classification in the presence of graphical information. A new class of learning models has emerged that relies, at its most basic level, on classifying the data after first applying a graph convolution. To understand the merits of this approach, we study the classification of a mixture of Gaussians, where the data corresponds to the node attributes of a stochastic block model. We show that graph convolution extends the regime in which the data is linearly separable by a factor of roughly $1/\sqrt{D}$, where $D$ is the expected degree of a node, as compared to the mixture model data on its own. Furthermore, we find that the linear classifier obtained by minimizing the cross-entropy loss after the graph convolution generalizes to out-of-distribution data where the unseen data can have different intra- and inter-class edge probabilities from the training data.

研究动机与目标

• 理解图卷积在半监督分类中的理论优势，超越经验实践。
• 分析图卷积在具有高斯混合分量的随机块模型中对节点属性线性可分性的影响。
• 评估在图卷积数据上训练的分类器对具有不同边概率结构的分布外图的泛化性能。
• 在不同图结构和噪声参数下，建立逻辑回归经图卷积后泛化误差的理论边界。

提出的方法

• 研究采用上下文随机块模型（CSBM），其中节点属性从高斯混合模型中抽取，边遵循随机块结构。
• 图卷积被建模为对节点邻居的简单平均操作，通过 $\tilde{X} = (I + A)^{-1}X$ 或类似形式进行特征变换，具体取决于归一化方式。
• 通过分析在卷积后特征上训练的逻辑分类器的间隔（margin），研究线性可分性，并利用浓度不等式推导理论边界。
• 通过比较分类器在具有不同类内与类间边概率 $p'$ 和 $q'$ 的测试图上的表现，研究其对分布外数据的泛化能力。
• 理论分析结合了高斯均值的几何性质与图的谱特性，特别是有效电阻和边概率差异。
• 利用指数尾部不等式推导损失边界，表明交叉熵损失随间隔 $R\gamma\Gamma(p',q')$ 呈指数衰减。

实验结果

研究问题

• RQ1 在半监督设置中，图卷积在多大程度上提升了节点属性的线性可分性？
• RQ2 节点的期望度数 $D$ 如何影响图卷积带来的线性可分性提升？
• RQ3 在图卷积数据上训练的分类器能否泛化到具有不同边概率结构的分布外图？
• RQ4 与在原始属性上训练的标准逻辑回归相比，图卷积提供了多大的理论间隔提升？
• RQ5 类内边概率 ($p$) 与类间边概率 ($q$) 的差异如何影响图卷积模型的性能？

主要发现

• 图卷积使数据处于线性可分状态的范围扩大了约 $1/\sqrt{D}$ 倍，其中 $D$ 为节点的期望度数。
• 图卷积后最优线性分类器的间隔按 $R\gamma\Gamma(p,q)$ 缩放，其中 $\Gamma(p,q)$ 反映了类内与类间边概率的相对差异。
• 在分布外数据上，逻辑分类器的泛化误差随 $R\gamma\Gamma(p',q')$ 呈指数衰减，其中 $p'$ 和 $q'$ 为测试图的边概率。
• 实验结果表明，当类内边概率接近类间边概率时，图卷积可能降低性能，表明其对图结构具有敏感性。
• 理论边界表明，分布外数据上的交叉熵损失上界为 $C \exp(-R\gamma\Gamma(p',q')(1-o(1)))$，表明在有利图条件下具有强泛化能力。
• 在高斯分量均值满足凸包条件等几何约束下，结果可推广至 $k$-类情形。