[论文解读] Graph Contrastive Learning with Augmentations

Yuning You, Tianlong Chen+4 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Graph Neural Networks参考文献 71被引用 863

一句话总结

GraphCL 在图级数据增广和对比学习框架用于 GNN 预训练，在半监督、无监督、迁移学习以及对抗鲁棒性等多个图数据集上取得了最先进的结果。

ABSTRACT

Generalizable, transferrable, and robust representation learning on graph-structured data remains a challenge for current graph neural networks (GNNs). Unlike what has been developed for convolutional neural networks (CNNs) for image data, self-supervised learning and pre-training are less explored for GNNs. In this paper, we propose a graph contrastive learning (GraphCL) framework for learning unsupervised representations of graph data. We first design four types of graph augmentations to incorporate various priors. We then systematically study the impact of various combinations of graph augmentations on multiple datasets, in four different settings: semi-supervised, unsupervised, and transfer learning as well as adversarial attacks. The results show that, even without tuning augmentation extents nor using sophisticated GNN architectures, our GraphCL framework can produce graph representations of similar or better generalizability, transferrability, and robustness compared to state-of-the-art methods. We also investigate the impact of parameterized graph augmentation extents and patterns, and observe further performance gains in preliminary experiments. Our codes are available at https://github.com/Shen-Lab/GraphCL.

研究动机与目标

• 激励对图神经网络进行预训练，以提升在多样化图类型上的泛化与迁移能力。
• 设计四种图数据增广，以编码领域先验并实现鲁棒的对比学习。
• 提出 GraphCL，通过最大化增强视图之间的一致性来学习不变的图表示。
• 系统地研究跨数据集和任务设定的增广效果，以指导实际使用。

提出的方法

• 提出四种图数据增广：节点丢失、边扰动、属性掩蔽和子图采样。
• 使用一个共享的 GNN 编码器 f 和一个投影头 g 将增强后的图映射到表示向量。
• 应用 NT-Xent 对比损失以最大化同一图的两个增强视图之间的一致性。
• 表明 GraphCL 对应于增强后图的潜在表示之间的互信息最大化目标。
• 证明 GraphCL 能在一个通用框架下统一广泛的图对比学习方法。

实验结果

研究问题

• RQ1 不同的图增广类型及其配置如何影响图的对比学习？
• RQ2 GraphCL 框架是否能比现有的 GNN 预训练方法实现更好的泛化与迁移能力？
• RQ3 增广强度与模式对下游性能在不同图领域（生物化学、社交、基于图像的图）上的影响是什么？
• RQ4 GraphCL 是否提升了 GNN 对对抗扰动的鲁棒性？

主要发现

• 图增广至关重要；若没有增广，图对比学习相比从头训练并无明显收益。
• 组合增广（不同类型的增广）通常比使用单一类型的增广带来更好的性能。
• 边扰动对社交网络有帮助，但在一些生物分子数据集上可能带来负面影响，表明领域特定先验很重要。
• 属性掩蔽和节点丢失/子图增广带来稳定的收益，且某些模式（例如在密集图中掩蔽枢纽）可进一步提升结果。
• GraphCL 在多个图分类基准上的半监督、无监督表征学习和迁移学习方面达到最先进的性能。
• 与从头训练相比，GraphCL 也提升了对对抗攻击的鲁棒性。