[论文解读] AutoGCL: Automated Graph Contrastive Learning via Learnable View Generators

Yihang Yin, Qingzhong Wang+3 more|arXiv (Cornell University)|Sep 21, 2021

Advanced Graph Neural Networks被引用 9

一句话总结

AutoGCL 提出了一种可学习的图视图生成器框架，通过联合训练可微分的、自适应的视图生成器与图编码器和分类器，实现了图表示学习中对比学习的自动化。通过在引入拓扑差异的同时保持语义结构，AutoGCL 在多个图数据集的半监督、无监督和迁移学习基准上均取得了当前最优性能。

ABSTRACT

Contrastive learning has been widely applied to graph representation learning, where the view generators play a vital role in generating effective contrastive samples. Most of the existing contrastive learning methods employ pre-defined view generation methods, e.g., node drop or edge perturbation, which usually cannot adapt to input data or preserve the original semantic structures well. To address this issue, we propose a novel framework named Automated Graph Contrastive Learning (AutoGCL) in this paper. Specifically, AutoGCL employs a set of learnable graph view generators orchestrated by an auto augmentation strategy, where every graph view generator learns a probability distribution of graphs conditioned by the input. While the graph view generators in AutoGCL preserve the most representative structures of the original graph in generation of every contrastive sample, the auto augmentation learns policies to introduce adequate augmentation variances in the whole contrastive learning procedure. Furthermore, AutoGCL adopts a joint training strategy to train the learnable view generators, the graph encoder, and the classifier in an end-to-end manner, resulting in topological heterogeneity yet semantic similarity in the generation of contrastive samples. Extensive experiments on semi-supervised learning, unsupervised learning, and transfer learning demonstrate the superiority of our AutoGCL framework over the state-of-the-arts in graph contrastive learning. In addition, the visualization results further confirm that the learnable view generators can deliver more compact and semantically meaningful contrastive samples compared against the existing view generation methods.

研究动机与目标

• 解决现有对比学习中固定、预定义图增强方法破坏语义结构且缺乏适应性的局限性。
• 开发一种可微分的、端到端可训练的框架，以学习基于输入图的图增强概率分布。
• 通过联合训练视图生成器、图编码器和分类器，提升对比视图中的拓扑异质性与语义相似性，从而改善对比学习性能。
• 实现自适应的增强策略，在保留标签语义的同时引入足够的差异性，以支持有效的自监督预训练。

提出的方法

• AutoGCL 采用可学习的图视图生成器，对基于节点的增强操作（如节点丢弃）建模概率分布，其条件基于输入图。
• 利用 Gumbel-Softmax 技巧实现对离散增强操作的端到端反向传播，确保可微性。
• 该框架整合了一种自动增强策略，可学习生成多样化但语义一致的对比视图的最优策略。
• 采用联合训练策略，通过对比损失、视图相似性损失和分类损失，同时优化视图生成器、图编码器和分类器。
• 通过学习任务特定的增强策略而非依赖随机或固定变换，保持图的语义。
• 该架构采用端到端训练，使视图生成器能够自适应地生成保持结构与语义一致性的视图。

实验结果

研究问题

• RQ1 可学习的、可微分的视图生成器是否能在图对比学习中超越固定的手动设计增强方法？
• RQ2 与预训练-微调流水线相比，视图生成器、编码器和分类器的联合训练在提升表示质量方面有何优势？
• RQ3 可学习的视图生成器在引入足够拓扑差异以支持对比学习的同时，能在多大程度上保持语义标签？
• RQ4 所提出的框架是否能在包括半监督、无监督和迁移学习在内的多样化图学习任务中实现良好泛化？

主要发现

• AutoGCL 在多个基准数据集（包括 Cora、PubMed 和 COLLAB）上实现了当前最优性能，在半监督和无监督学习设置中均优于现有方法。
• 在 NCI1 数据集上，AutoGCL 在节点丢弃比例为 0.3 时达到 75.11 ± 2.24 的测试准确率，超越 GraphCL 及其他基线方法。
• t-SNE 可视化结果表明，与固定增强基线相比，AutoGCL 生成的聚类更加紧凑且语义更明确。
• 学习曲线与准确率对比显示，联合训练策略显著降低了过拟合现象，并提升了测试准确率，优于朴素的预训练-微调流水线。
• 在 MNIST-Superpixel 上的可视化显示，AutoGCL 的视图生成器比标准节点丢弃方法更好地保留了关键语义节点，维持了结构完整性。
• 该框架在迁移学习中表现出卓越的泛化能力，在多个下游任务中均实现了稳定提升。