[论文解读] Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning

Sheng Wan, Shirui Pan+2 more|arXiv (Cornell University)|Sep 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 60被引用 12

一句话总结

本文提出CG3，一种新颖的图卷积网络框架，用于半监督节点分类，通过联合利用半监督对比学习与图生成建模来增强表征学习。通过同时利用多视图图卷积中的数据相似性以及特征与拓扑之间的结构关系，CG3在低标签设置下实现了最先进性能，尤其在Cora、CiteSeer和PubMed数据集上，相较于DGI、GRACE和MVGRL等方法，准确率最高提升4%。

ABSTRACT

Graph-based Semi-Supervised Learning (SSL) aims to transfer the labels of a handful of labeled data to the remaining massive unlabeled data via a graph. As one of the most popular graph-based SSL approaches, the recently proposed Graph Convolutional Networks (GCNs) have gained remarkable progress by combining the sound expressiveness of neural networks with graph structure. Nevertheless, the existing graph-based methods do not directly address the core problem of SSL, i.e., the shortage of supervision, and thus their performances are still very limited. To accommodate this issue, a novel GCN-based SSL algorithm is presented in this paper to enrich the supervision signals by utilizing both data similarities and graph structure. Firstly, by designing a semi-supervised contrastive loss, improved node representations can be generated via maximizing the agreement between different views of the same data or the data from the same class. Therefore, the rich unlabeled data and the scarce yet valuable labeled data can jointly provide abundant supervision information for learning discriminative node representations, which helps improve the subsequent classification result. Secondly, the underlying determinative relationship between the data features and input graph topology is extracted as supplementary supervision signals for SSL via using a graph generative loss related to the input features. Intensive experimental results on a variety of real-world datasets firmly verify the effectiveness of our algorithm compared with other state-of-the-art methods.

研究动机与目标

• 解决半监督学习的核心挑战：标注数据有限，这限制了模型的泛化能力和训练稳定性。
• 不仅将未标注数据用于结构建模，还通过对比学习利用数据相似性作为主动监督信号。
• 提取并利用输入图拓扑与节点特征之间的潜在关系，作为补充监督信号。
• 开发一个统一的基于GCN的框架，整合对比学习与生成建模目标，以改善判别性节点表征学习。
• 在归纳节点分类任务中实现卓越性能，尤其在标注数据稀缺时表现更优。

提出的方法

• 提出一种半监督对比损失，通过类别信息引导表示对齐，最大化同一节点的全局视图与局部视图之间的一致性。
• 使用两条并行的GCN分支——标准GCN与HGCN——生成用于对比学习的多视图节点表征。
• 引入图生成损失，建模在给定节点特征条件下输入图的条件概率，捕捉结构与特征之间的决定性关系。
• 将对比损失与图生成损失结合为统一的训练目标，联合优化表征学习与结构一致性。
• 通过结合标注数据、未标注数据与图拓扑，端到端训练模型，以丰富监督信号。

实验结果

研究问题

• RQ1 在低标签半监督学习中，结合类别感知监督的对比学习能否提升节点表征质量？
• RQ2 将节点特征与图拓扑之间的结构关系纳入模型，能否增强分类性能？
• RQ3 在归纳节点分类中，多视图图卷积结合对比学习在多大程度上优于单视图GCN基线方法？
• RQ4 在标注数据稀缺时，图拓扑的生成建模是否能提升泛化能力？
• RQ5 对比学习与生成建模组件各自对整体性能提升的贡献程度如何？

主要发现

• 在Cora数据集上，CG3达到83.4%的准确率，优于次佳方法（HGCN）0.5%，优于基线GCN 5.0%。
• 在CiteSeer数据集上，标签率仅为0.5%时，CG3达到62.7%的准确率，优于最佳基线方法（MVGRL）1.0%，优于DGI 2.0%。
• 在PubMed数据集上，标签率仅为0.03%时，CG3达到68.3%的准确率，显著优于GCN（61.8%）与GRACE（64.4%）在相同低监督条件下的表现。
• 消融实验表明，若移除对比损失或生成损失，性能均会下降，其中对比损失在CiteSeer上贡献最高达4%的准确率提升。
• t-SNE可视化显示，CG3生成的类别簇比GCN与HGCN更一致且更易分离，表明其表征学习能力更优。
• 在所有数据集与标签率下，该模型始终优于最先进对比GCN方法（DGI、GMI、MVGRL、GRACE），尤其在极端标签稀缺条件下表现更佳。