[论文解读] Contrastive Self-supervised Learning for Graph Classification

Jiaqi Zeng, Pengtao Xie|arXiv (Cornell University)|Sep 13, 2020

Advanced Graph Neural Networks被引用 9

一句话总结

本文提出了两种对比自监督学习（CSSL）方法——CSSL-Pretrain 和 CSSL-Reg，用于图分类，以缓解低数据场景下的过拟合问题。通过在无标签图上使用对比学习进行图编码器预训练，或使用 CSSL 作为数据相关正则化项，这些方法提升了泛化能力，其中 CSSL-Reg 在 5 个数据集中的 4 个上表现更优，通过联合优化分类与对比学习目标实现。

ABSTRACT

Graph classification is a widely studied problem and has broad applications. In many real-world problems, the number of labeled graphs available for training classification models is limited, which renders these models prone to overfitting. To address this problem, we propose two approaches based on contrastive self-supervised learning (CSSL) to alleviate overfitting. In the first approach, we use CSSL to pretrain graph encoders on widely-available unlabeled graphs without relying on human-provided labels, then finetune the pretrained encoders on labeled graphs. In the second approach, we develop a regularizer based on CSSL, and solve the supervised classification task and the unsupervised CSSL task simultaneously. To perform CSSL on graphs, given a collection of original graphs, we perform data augmentation to create augmented graphs out of the original graphs. An augmented graph is created by consecutively applying a sequence of graph alteration operations. A contrastive loss is defined to learn graph encoders by judging whether two augmented graphs are from the same original graph. Experiments on various graph classification datasets demonstrate the effectiveness of our proposed methods.

研究动机与目标

• 解决因标注训练数据有限而导致图分类中的过拟合问题。
• 开发无需依赖人工标注标签的自监督方法，以学习鲁棒的图级表征。
• 通过在广泛可用的无标签图上使用对比自监督学习对图编码器进行预训练，提升泛化能力。
• 设计一种基于 CSSL 的正则化方法，联合优化分类与对比学习目标。
• 在多样化的图分类基准上评估这些方法的有效性。

提出的方法

• CSSL-Pretrain 使用对比自监督学习在无标签图上预训练图编码器，随后在有标签数据上进行微调。
• CSSL-Reg 将对比损失作为正则化项，与监督分类损失在训练过程中联合优化。
• 通过顺序应用四种操作生成图增强：边删除、边插入、节点删除和节点插入。
• 对比损失被定义为区分两个增强图是否源自同一原始图。
• 两种方法均使用图神经网络作为主干编码器，用于预训练和微调。
• 通过随机选择增强操作来增加对比任务的难度，从而提升表征的鲁棒性。

实验结果

研究问题

• RQ1 在无标签图上使用对比自监督学习是否能提升有限标注数据下的图分类泛化能力？
• RQ2 与标准微调相比，联合优化对比自监督任务与监督分类任务是否能更有效地减少过拟合？
• RQ3 图增强策略的选择如何影响自监督预训练的性能？
• RQ4 在具有领域差异的多个数据集上进行预训练，是否会导致目标图分类任务性能下降？
• RQ5 在模型准确率与泛化能力之间，分类损失与 CSSL 正则化项的最优平衡点是什么？

主要发现

• CSSL-Pretrain 和 CSSL-Reg 在五个图分类数据集上均优于基线方法，表现出更强的抗过拟合能力。
• CSSL-Reg 在 5 个数据集中的 4 个上优于 CSSL-Pretrain，表明联合优化可减少对小规模标注数据集的偏差。
• 与 CSSL-Pretrain 相比，CSSL-Reg 的训练-测试准确率差距更小，证实其具备更强的泛化能力。
• 连续应用三种随机图增强操作的性能优于仅使用单一操作，因为任务难度增加。
• 随机选择增强操作优于确定性选择，因其生成更具挑战性的对比任务，从而获得更鲁棒的表征。
• CSSL-Reg 中存在最优正则化强度：过高的值会因过度压制分类损失而降低性能。