[论文解读] Learning Graph Augmentations to Learn Graph Representations

Kaveh Hassani, Amir Hosein Khasahmadi|arXiv (Cornell University)|Jan 24, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

LG2AR 是一种端到端框架，通过概率策略和增强头，自动学习图对比学习中最佳的图增强和视图选择策略，自适应地从多样化的增强空间中采样。在 20 个节点级和图级基准测试中，该方法在线性与半监督协议下均取得了 18 项 SOTA 性能。

ABSTRACT

Devising augmentations for graph contrastive learning is challenging due to their irregular structure, drastic distribution shifts, and nonequivalent feature spaces across datasets. We introduce LG2AR, Learning Graph Augmentations to Learn Graph Representations, which is an end-to-end automatic graph augmentation framework that helps encoders learn generalizable representations on both node and graph levels. LG2AR consists of a probabilistic policy that learns a distribution over augmentations and a set of probabilistic augmentation heads that learn distributions over augmentation parameters. We show that LG2AR achieves state-of-the-art results on 18 out of 20 graph-level and node-level benchmarks compared to previous unsupervised models under both linear and semi-supervised evaluation protocols. The source code will be released here: https://github.com/kavehhassani/lg2ar

研究动机与目标

• 为解决由于图结构不规则和分布偏移，导致为对比学习设计有效且数据集特定的图增强所面临的挑战。
• 通过端到端学习增强分布，消除手动超参数调优和试错式增强选择。
• 通过自适应增强策略和参数分布，提升图表示在节点级和图级任务中的泛化能力。
• 证明同时学习增强策略与参数相比固定或随机采样增强，能带来更优性能。

提出的方法

• LG2AR 采用概率策略网络，基于输入图数据集学习增强类型分布。
• 引入概率增强头，每个头为特定增强类型（如边扰动、特征掩码、子图采样）建模参数分布。
• 框架以端到端方式联合训练编码器、增强策略和增强头，无需外部循环优化。
• 使用对比学习结合互信息估计器（如 NT-Xent 或 JSD）和判别器（如 MLP）以最大化不同增强视图之间的一致性。
• 通过强化学习训练策略，使其采样能最大化对比损失的增强，实现数据集自适应的增强选择。
• 该方法支持归纳学习与直推学习设置，适用于节点级与图级分类任务。

实验结果

研究问题

• RQ1 是否能够通过端到端框架自动学习有效的图增强，而无需人工设计或超参数调优？
• RQ2 与固定或均匀采样增强相比，学习增强类型和参数的分布是否能提升性能？
• RQ3 所学策略如何适应具有不同结构和特征分布的图数据集？
• RQ4 学习增强策略与学习增强参数对整体性能的相对贡献是什么？
• RQ5 该框架是否能在节点级和图级任务中均实现泛化并取得 SOTA 结果？

主要发现

• 在 20 个基准测试中，LG2AR 在线性与半监督评估协议下均取得 SOTA 性能，包括 8/8 图分类任务和 6/7 节点分类任务。
• GRU 基础策略在 15 个基准中的 12 个上优于随机和固定策略，表明其具备有效的数据集自适应能力。
• 策略为每个数据集学习到不同的增强分布，其中子图采样和边扰动是最常被选择的增强方式。
• 即使采用随机策略，通过概率增强头学习参数，Reddit-Binary 任务的准确率仍比 GraphCL 提高 2.7%。
• 结构增强（如边扰动、子图采样）对性能贡献更大，但所有类型的增强均提升了最终结果。
• JSD 和 NT-Xent 估计器在互信息估计中优于 NCE 和 DV，且基于 MLP 的判别器在所有数据集上表现最佳。