[论文解读] Automated Self-Supervised Learning for Graphs

Wei Jin, Xiaorui Liu+4 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Graph Neural Networks参考文献 59被引用 21

一句话总结

本文提出 AutoSSL，一种自动化框架，通过使用伪同质性度量作为下游性能的无监督代理，搜索图上自监督学习（SSL）任务的最佳组合。基于连通节点倾向于共享标签的同质性原则，该方法动态加权多个 SSL 任务（例如 DGI、Pairsim、PairDis），以提升节点表示学习，在 8 个真实世界数据集上的节点聚类和分类任务中实现了最先进性能。

ABSTRACT

Graph self-supervised learning has gained increasing attention due to its capacity to learn expressive node representations. Many pretext tasks, or loss functions have been designed from distinct perspectives. However, we observe that different pretext tasks affect downstream tasks differently cross datasets, which suggests that searching pretext tasks is crucial for graph self-supervised learning. Different from existing works focusing on designing single pretext tasks, this work aims to investigate how to automatically leverage multiple pretext tasks effectively. Nevertheless, evaluating representations derived from multiple pretext tasks without direct access to ground truth labels makes this problem challenging. To address this obstacle, we make use of a key principle of many real-world graphs, i.e., homophily, or the principle that "like attracts like," as the guidance to effectively search various self-supervised pretext tasks. We provide theoretical understanding and empirical evidence to justify the flexibility of homophily in this search task. Then we propose the AutoSSL framework which can automatically search over combinations of various self-supervised tasks. By evaluating the framework on 7 real-world datasets, our experimental results show that AutoSSL can significantly boost the performance on downstream tasks including node clustering and node classification compared with training under individual tasks. Code is released at https://github.com/ChandlerBang/AutoSSL.

研究动机与目标

• 为解决在图表示学习中选择最优自监督学习（SSL）任务的挑战，因为不同任务在不同数据集和下游任务中的表现差异显著。
• 通过引入一种伪同质性度量，解决训练过程中缺乏真实标签的问题，该度量作为下游性能的无监督代理。
• 开发一种自动化框架，高效搜索多种 SSL 任务的组合，以联合优化表示质量。
• 通过实证验证，更高伪同质性与更好的下游性能相关，从而证明其作为搜索目标的有效性。

提出的方法

• 提出一种伪同质性度量，基于同质性原则，在无真实标签的情况下，估计由嵌入预测的节点标签与真实标签之间的对齐程度。
• 将伪同质性分数用作代理目标，指导多任务 SSL 中最优任务权重的搜索，理论证明最大化该分数可提升与真实标签互信息的上界。
• 设计两种搜索算法：AutoSSL-es（进化策略）和 AutoSSL-ds（可微搜索），以高效探索 SSL 任务组合的高维空间。
• 在 AutoSSL-ds 中采用可微或基于梯度的优化过程，在 AutoSSL-es 中采用基于种群的进化策略，迭代优化任务权重。
• 整合多种 SSL 任务，包括 DGI、Pairsim、PairDis、Clu 和 Par，每种任务捕捉不同的归纳偏置（例如局部与全局结构）。
• 使用加权组合的 SSL 目标训练 GNN，并通过下游节点聚类和分类任务评估所得嵌入质量。

实验结果

研究问题

• RQ1 不同自监督学习任务在各种图数据集和下游任务中的表现如何？
• RQ2 在无标签条件下，伪同质性能否作为评估学习到的节点表示质量的可靠无监督代理？
• RQ3 与单独使用任务相比，自动化框架能否有效搜索多种 SSL 任务组合，从而提升下游性能？
• RQ4 不同类型的图（如引文网络与共购网络）中，不同 SSL 任务的最优权重如何变化？

主要发现

• 与单独使用 SSL 任务训练相比，AutoSSL 在 8 个真实世界数据集上的节点聚类和分类任务中显著提升了下游性能。
• 伪同质性度量与下游性能强相关：伪同质性越高的嵌入，其聚类（NMI）和分类（ACC）准确率越高。
• 在引文网络和合作者网络（如 CoraFull、Physics、CS）中，DGI 和 Par 始终被赋予高权重，表明其在捕捉全局和局部结构模式方面至关重要。
• 在共购网络（如 Photo、Computers）中，Par 和 DGI 均重要，但 Par 获得更高权重，表明在这些图中局部结构更为关键。
• Clu 在所有数据集中始终获得极低权重，表明基于原始特征的伪标签在所选设置下是较差的监督信号。
• AutoSSL 中任务权重的演化过程显示，其收敛至稳定且与数据集相关的配置，且 AutoSSL-es 和 AutoSSL-ds 均实现了高伪同质性和下游准确率。