[论文解读] Data Augmentation View on Graph Convolutional Network and the Proposal of Monte Carlo Graph Learning

Hande Dong, Zhaolin Ding+3 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Graph Neural Networks参考文献 24被引用 4

一句话总结

本文提出蒙特卡洛图学习（MCGL），一种新的图学习范式，通过在标签空间中进行数据增强来解释图卷积网络（GCNs）。通过蒙特卡洛采样将训练标签在图结构上传播，MCGL扩展了训练集并训练传统分类器，在具有非线性边界或社区结构的干净图上表现出更优性能，但对图噪声更敏感，相较于GCNs。

ABSTRACT

Today, there are two major understandings for graph convolutional networks, i.e., in the spectral and spatial domain. But both lack transparency. In this work, we introduce a new understanding for it -- data augmentation, which is more transparent than the previous understandings. Inspired by it, we propose a new graph learning paradigm -- Monte Carlo Graph Learning (MCGL). The core idea of MCGL contains: (1) Data augmentation: propagate the labels of the training set through the graph structure and expand the training set; (2) Model training: use the expanded training set to train traditional classifiers. We use synthetic datasets to compare the strengths of MCGL and graph convolutional operation on clean graphs. In addition, we show that MCGL's tolerance to graph structure noise is weaker than GCN on noisy graphs (four real-world datasets). Moreover, inspired by MCGL, we re-analyze the reasons why the performance of GCN becomes worse when deepened too much: rather than the mainstream view of over-smoothing, we argue that the main reason is the graph structure noise, and experimentally verify our view. The code is available at https://github.com/DongHande/MCGL.

研究动机与目标

• 通过数据增强的视角，为图卷积网络（GCNs）提供一种新的、透明的解释。
• 解决谱域与空间域解释中GCNs可解释性不足的问题。
• 提出一种新型图学习范式——蒙特卡洛图学习（MCGL），通过伪标签传播在标签空间中运行。
• 研究MCGL与GCN在对图结构噪声鲁棒性及不同数据特征下性能表现之间的权衡。
• 重新评估GCN性能随深度下降的根本原因，认为其主要源于结构噪声而非过平滑。

提出的方法

• MCGL从训练节点出发进行K步蒙特卡洛采样，将标签传播至采样邻居，生成伪标签训练样本。
• 利用由原始节点与伪标签节点组成的扩展训练集，训练基础分类器（如MLP、SVM、LR）。
• 该方法依赖于局部同质性假设：相连节点更可能共享相同标签，使标签传播具有合理性。
• 将标签传播限制在K步内，以避免对远距离或噪声邻居产生过度信任，防止错误伪标签生成。
• 其核心机制将图结构视为标签空间中的数据增强工具，与GCN在表示空间中的增强形成对比。
• MCGL在合成数据集与真实世界数据集上进行评估，比较其与GCN在不同噪声水平下的性能与鲁棒性。

实验结果

研究问题

• RQ1 图卷积操作能否被有意义地解释为标签空间中的数据增强形式？
• RQ2 在具有非线性决策边界或社区结构的干净图上，MCGL与GCN的性能表现如何比较？
• RQ3 为何GCN在深度增加时性能下降？其主要原因是否为过平滑，还是结构噪声？
• RQ4 MCGL对图结构噪声的鲁棒性与GCN相比如何？
• RQ5 MCGL的深度限制是否能为解释GCN的深度限制提供洞见？

主要发现

• 在干净图上，MCGL在具有非线性决策边界或社区结构的数据集上优于GCN，而GCN在高方差数据集上表现更佳。
• MCGL对图结构噪声的敏感度高于GCN，在四个真实世界噪声数据集上表现出更低的容忍度。
• GCN随深度增加导致的性能下降主要源于图结构噪声，而非过平滑，该结论已通过实证验证。
• MCGL无法过深，因为劣质边会导致错误伪样本数量持续增加，从而降低模型性能。
• GCN的深度限制与限制MCGL的噪声问题具有根本上的同源性，表明二者存在共同的根本原因。
• 将GCN视为数据增强方法，相比谱域或空间域解释，能提供更透明、更具可解释性的理解。