[论文解读] Label-invariant Augmentation for Semi-Supervised Graph Classification

Yue Han, Chunhui Zhang+2 more|arXiv (Cornell University)|May 19, 2022

Advanced Graph Neural Networks被引用 10

一句话总结

本文提出图标签不变增强（GLA），一种新颖的半监督图对比学习方法，该方法在特征空间中生成标签一致的增强表示，而非修改原始图结构。通过选择能保持原始标签的最困难（最坏情况）扰动，GLA 在无需手工设计图增强或负样本对的情况下，提升了模型泛化能力，在八个基准数据集上优于现有的GNN和对比学习方法。

ABSTRACT

Recently, contrastiveness-based augmentation surges a new climax in the computer vision domain, where some operations, including rotation, crop, and flip, combined with dedicated algorithms, dramatically increase the model generalization and robustness. Following this trend, some pioneering attempts employ the similar idea to graph data. Nevertheless, unlike images, it is much more difficult to design reasonable augmentations without changing the nature of graphs. Although exciting, the current graph contrastive learning does not achieve as promising performance as visual contrastive learning. We conjecture the current performance of graph contrastive learning might be limited by the violation of the label-invariant augmentation assumption. In light of this, we propose a label-invariant augmentation for graph-structured data to address this challenge. Different from the node/edge modification and subgraph extraction, we conduct the augmentation in the representation space and generate the augmented samples in the most difficult direction while keeping the label of augmented data the same as the original samples. In the semi-supervised scenario, we demonstrate our proposed method outperforms the classical graph neural network based methods and recent graph contrastive learning on eight benchmark graph-structured data, followed by several in-depth experiments to further explore the label-invariant augmentation in several aspects.

研究动机与目标

• 解决当前图对比学习方法依赖手工设计、可能违反标签的图增强所带来的局限性。
• 通过将下游分类目标整合到增强过程中，提升半监督图分类中的模型泛化能力。
• 消除对比学习中对负样本对的需求，因为负样本对可能在下游任务中降低性能。
• 证明有效增强可直接在表示空间中实现，而无需修改原始图结构。
• 验证在表示空间中进行标签不变增强可获得优于原始图增强或事后过滤方法的性能。

提出的方法

• GLA 在学习到的表示空间中进行数据增强，而非在原始图结构上进行。
• 通过向图级别表示添加一个由幅度超参数 η 缩放的随机单位向量，生成候选扰动。
• 仅保留能保持原始类别标签（即维持预测置信度）的扰动，以强制实现标签不变性。
• 在所有有效候选中，GLA 选择使模型损失最大化的扰动，即对分类器最困难（最坏情况）的样本。
• 通过使用下游分类器在增强过程中验证标签不变性，实现预训练与微调的整合。
• 设计上避免使用负样本对，与近期研究发现一致：负样本对可能在对比学习中损害性能。

实验结果

研究问题

• RQ1 在表示空间中进行标签不变增强是否能超越传统图增强方法，提升半监督图分类性能？
• RQ2 在结合标签不变增强时，消除对比学习中的负样本对是否能带来更好的下游性能？
• RQ3 在鲁棒性和泛化能力方面，表示空间增强与原始图空间增强相比如何？
• RQ4 选择最困难（最坏情况）增强与随机或最简单增强相比，其影响是什么？
• RQ5 轻量级、非双层优化策略能否在无需领域特定知识的情况下，有效生成困难且标签一致的样本？

主要发现

• 在半监督设置下，GLA 在八个基准图数据集上优于经典GNN和近期图对比学习方法。
• 当引入负样本对时，GLA 性能显著下降，证实负样本对在此设置下具有破坏性，与近期视觉对比学习研究发现一致。
• 使用 η = 1 时，GLA 展现出强大的跨数据集泛化能力，且 GLA（η = 1）优于 GraphCL+Label-Invariant，证明了表示空间增强的优越性。
• 在所有有效候选中选择最困难的增强可显著提升性能，优于随机或最简单的增强，证明了最坏情况采样带来的优势。
• 标签不变性不仅提升了GLA的性能，还通过事后应用提升了其他对比学习方法的性能，表明其具有良好的泛化能力。
• 表示空间增强实现了有效且标签一致的数据增强，无需生成新图，从而减少了对领域特定增强设计的依赖。