[论文解读] Graph Contrastive Learning Automated

Yuning You, Tianlong Chen+2 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Graph Neural Networks被引用 93

一句话总结

JOAO 引入了一种双层优化框架，用于自动选择图对比学习的数据增强，使 GraphCL 能对新图自动、自适应、动态地进行调整；JOAOv2 增加了对增强的感知投影头，以提高鲁棒性。

ABSTRACT

Self-supervised learning on graph-structured data has drawn recent interest for learning generalizable, transferable and robust representations from unlabeled graphs. Among many, graph contrastive learning (GraphCL) has emerged with promising representation learning performance. Unfortunately, unlike its counterpart on image data, the effectiveness of GraphCL hinges on ad-hoc data augmentations, which have to be manually picked per dataset, by either rules of thumb or trial-and-errors, owing to the diverse nature of graph data. That significantly limits the more general applicability of GraphCL. Aiming to fill in this crucial gap, this paper proposes a unified bi-level optimization framework to automatically, adaptively and dynamically select data augmentations when performing GraphCL on specific graph data. The general framework, dubbed JOint Augmentation Optimization (JOAO), is instantiated as min-max optimization. The selections of augmentations made by JOAO are shown to be in general aligned with previous "best practices" observed from handcrafted tuning: yet now being automated, more flexible and versatile. Moreover, we propose a new augmentation-aware projection head mechanism, which will route output features through different projection heads corresponding to different augmentations chosen at each training step. Extensive experiments demonstrate that JOAO performs on par with or sometimes better than the state-of-the-art competitors including GraphCL, on multiple graph datasets of various scales and types, yet without resorting to any laborious dataset-specific tuning on augmentation selection. We release the code at https://github.com/Shen-Lab/GraphCL_Automated.

研究动机与目标

• 由于图的异质性，在图对比学习中需要针对数据集的自动化增强选择的动机。
• 提出 JOAO，一种统一的双层优化框架，自动且自适应地为 GraphCL 选择增强对。
• 证明 JOAO 在跨越多种数据集时，与手动调整增强参数的最新 GraphCL 相媲美或甚至超越。
• 引入对增强感知的投影头，以缓解由动态增强引起的分布偏移。
• 证明 JOAO 的选择与先前观察到的最佳实践一致，同时无需带标签的验证数据。

提出的方法

• 将 JOAO 表述为一个双层优化问题，上层最小化 GraphCL 损失，下层优化增强对的分布。
• 将 JOAO 实例化为一个带先验分布的极小极大问题，以鼓励多样化的增强，并引入控制偏离先验的距离项。
• 通过交替梯度下降，在更新网络参数和更新增强分布之间进行求解。
• 引入一种新的对增强感知的投影头机制，每种增强类型对应一个投影头，在训练过程中按需路由特征。
• 通过将对增强感知头整合到 JOAO 目标中来提供 JOAOv2，在保持 JOAO 的优化结构的同时，提升对来自不同增强的畸变的鲁棒性。

实验结果

研究问题

• RQ1 JOAO 是否能够在没有带标签验证数据的情况下，自动发现 GraphCL 的有效增强策略？
• RQ2 在多样的图数据集上，JOAO 与 JOAOv2 是否达到与手动调参的 GraphCL 和启发式方法相当或更优的表现？
• RQ3 JOAO 产生的增强选择是否与手动调参观察到的公认最佳实践一致？
• RQ4 对增强感知的投影头是否能缓解训练过程中由动态增强引起的分布偏移？
• RQ5 JOAO 框架是否可适用于除 GraphCL 之外的其他图自监督学习框架？

主要发现

• JOAO 在多个人图数据集上实现了与最先进方法相当或更好的性能，且无需针对数据集的增强调优。
• JOAO 的选择通常与先前的最佳实践一致，表明自动增强选择是明智的。
• 在某些数据集和增强强度下，带有增强感知投影头的 JOAOv2 相对于 JOAO 进一步提升。
• 该框架具有灵活性，并不局限于 GraphCL，能够与其他图对比学习方法集成。
• JOAO 表明自动化增强优化可以扩展到多样的图数据，而不需要带标签的下游验证。