[论文解读] GPS: Graph Contrastive Learning via Multi-scale Augmented Views from Adversarial Pooling

Ju Wei, Yiyang Gu+6 more|arXiv (Cornell University)|Jan 29, 2024

Data-Driven Disease Surveillance被引用 6

一句话总结

GPS 利用可学习的图聚合来自动生成用于图对比学习的多尺度正视图，利用对抗和基于一致性的目标来提升无监督图表示。

ABSTRACT

Self-supervised graph representation learning has recently shown considerable promise in a range of fields, including bioinformatics and social networks. A large number of graph contrastive learning approaches have shown promising performance for representation learning on graphs, which train models by maximizing agreement between original graphs and their augmented views (i.e., positive views). Unfortunately, these methods usually involve pre-defined augmentation strategies based on the knowledge of human experts. Moreover, these strategies may fail to generate challenging positive views to provide sufficient supervision signals. In this paper, we present a novel approach named Graph Pooling ContraSt (GPS) to address these issues. Motivated by the fact that graph pooling can adaptively coarsen the graph with the removal of redundancy, we rethink graph pooling and leverage it to automatically generate multi-scale positive views with varying emphasis on providing challenging positives and preserving semantics, i.e., strongly-augmented view and weakly-augmented view. Then, we incorporate both views into a joint contrastive learning framework with similarity learning and consistency learning, where our pooling module is adversarially trained with respect to the encoder for adversarial robustness. Experiments on twelve datasets on both graph classification and transfer learning tasks verify the superiority of the proposed method over its counterparts.

研究动机与目标

• 在不依赖手动数据增强的情况下，推动为图对比学习生成更好的正视图。
• 提出一个双视图（强增强和弱增强）框架，使用可学习的图聚合。
• 引入对抗训练以提高增强的鲁棒性。
• 将对弱视图的相似性学习与对强视图的软一致性学习相结合。
• 在多样化数据集上对 GPS 在图分类和迁移学习中进行实证验证。

提出的方法

• 使用两层 GIN 作为图编码器并进行读出以获得图级表示。
• 引入两个可学习的图聚合模块（用于强增强和弱增强）以创建多尺度视图：基于 TopK 的聚合和基于聚类的聚合。
• 生成两个增强图，聚合比率为 rho1（强）和 rho2（弱），以提供互补视图。
• 在对抗学习中，弱增强池化器通过极小极大目标对抗编码器进行训练。
• 通过预测器和目标编码器（类似 BYOL 的设置）在弱视图上实现相似性学习。
• 通过对批次中相似性分布使用 KL 散度对强视图实现一致性学习（软约束）。
• 以对编码器进行对抗性更新（梯度上升），同时更新编码器以最小化损失。

实验结果

研究问题

• RQ1 可学习的多尺度图聚合是否能够为图对比学习提供有效、数据集自适应的正视图？
• RQ2 强增强视图和弱增强视图是否捕获互补的语义信息，结合起来是否能提升表示？
• RQ3 对聚合模块的对抗训练是否在无监督设置下提升鲁棒性和图表示的性能？
• RQ4 与最先进的无监督基线相比，GPS 在图分类和迁移学习任务中的表现如何？

主要发现

• GPS 在十二个数据集的图分类和迁移学习任务中，相较于无监督基线，取得了更优的性能。
• GPS-TopK 与 GPS-Cluster 变体在各数据集上达到顶级或有竞争力的结果，验证了可学习聚合用于增强视图的有效性。
• 消融研究表明弱增强、强增强以及对抗训练均对性能提升有贡献。
• 软一致性学习（基于 KL）通过保持语义结构，提升对强增强视图的利用。
• 图聚合比率通常具有鲁棒性，性能对 rho 选择不太敏感。
• 基于聚类的评估显示 GPS 在多个基准数据集上实现了强的图级判别。