[论文解读] Adversarial Graph Augmentation to Improve Graph Contrastive Learning

Susheel Suresh, Li Pan+2 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Graph Neural Networks参考文献 80被引用 141

一句话总结

AD-GCL 引入了一种可学习的对抗性图数据增强策略，用于图对比学习，优化增强以去除冗余信息并在无监督、迁移和半监督任务中提升下游性能。

ABSTRACT

Self-supervised learning of graph neural networks (GNN) is in great need because of the widespread label scarcity issue in real-world graph/network data. Graph contrastive learning (GCL), by training GNNs to maximize the correspondence between the representations of the same graph in its different augmented forms, may yield robust and transferable GNNs even without using labels. However, GNNs trained by traditional GCL often risk capturing redundant graph features and thus may be brittle and provide sub-par performance in downstream tasks. Here, we propose a novel principle, termed adversarial-GCL (AD-GCL), which enables GNNs to avoid capturing redundant information during the training by optimizing adversarial graph augmentation strategies used in GCL. We pair AD-GCL with theoretical explanations and design a practical instantiation based on trainable edge-dropping graph augmentation. We experimentally validate AD-GCL by comparing with the state-of-the-art GCL methods and achieve performance gains of up-to $14\%$ in unsupervised, $6\%$ in transfer, and $3\%$ in semi-supervised learning settings overall with 18 different benchmark datasets for the tasks of molecule property regression and classification, and social network classification.

研究动机与目标

• 激励自监督图表示学习以应对标签稀缺。
• 提出一个有原则性的 AD-GCL 框架，将 GNN 编码器与可学习的增强策略结合起来。
• 理论上证明对抗性增强如何在减少冗余的同时界定与任务相关的信息。
• 在18个数据集上对分子和社交网络任务，在无监督、迁移和半监督设置下，实证验证 AD-GCL。

提出的方法

• 将 AD-GCL 表述为一个极小极大博弈：对在族 T 中的增强 T 取极小，而对编码器 f 取极大，目标为 I(f(G);f(t(G))).
• 通过学习的边丢弃来实例化 T，其中每条边 e 的丢弃概率 ω_e 由一个 GNN 增强器决定。
• 用 GNN 参数化 ω_e，使用 Gumbel-softmax 松弛在训练过程中对边的丢弃进行采样。
• 通过对每个图的平均丢弃概率进行惩罚来对增强进行正则化，避免过于激进的扰动。
• 在小批量中使用 InfoNCE 来估计互信息项以优化目标。
• 提供理论洞见，将 AD-GCL 与信息瓶颈原理及 1-WL 表达能力联系起来。

实验结果

研究问题

• RQ1 在图对比学习中，是否对抗性学习的增强能超越固定或人工设计的增强？
• RQ2 优化增强策略如何影响 GNN 编码器捕获的与任务相关的信息与冗余信息的量？
• RQ3 在没有下游标签的情况下，AD-GCL 是否提升图表示的鲁棒性和迁移能力？
• RQ4 对增强搜索空间的正则化对下游性能有何影响？

主要发现

• 在18个数据集上，AD-GCL 在无监督、迁移和半监督设置中相对于最先进基线取得显著提升。
• 在无监督任务中，AD-GCL 相对于基线的提升高达 14%（相对）。
• 在迁移和半监督任务中，AD-GCL 显示出持续的提升，约为 6% 和 3%，分别。
• AD-GCL 学习的边缘丢弃增强优于非对抗性（随机）边丢弃和预定义增强策略。
• 增强搜索空间的正则化（λ_reg）是有益的，OPT 变体可以在各数据集间提供鲁棒性。
• 学习得到的输入-图相关增强在保留与下游任务相关的信息的同时减少冗余信息，与信息瓶颈直觉一致。