[论文解读] Mixed Graph Contrastive Network for Semi-Supervised Node Classification

Xihong Yang, Wang, Yiqi+6 more|arXiv (Cornell University)|Jun 6, 2022

Advanced Graph Neural Networks被引用 11

一句话总结

该论文提出了一种新型图对比学习方法——混合图对比网络（MGCN），用于半监督节点分类，通过在插值潜在表示之间强制线性预测行为并减少跨视图相关性，有效缓解了表示坍塌问题。MGCN 通过双重正则化机制增强决策边界的边际性和特征可分性，在六个基准数据集上实现了最先进性能。

ABSTRACT

Graph Neural Networks (GNNs) have achieved promising performance in semi-supervised node classification in recent years. However, the problem of insufficient supervision, together with representation collapse, largely limits the performance of the GNNs in this field. To alleviate the collapse of node representations in semi-supervised scenario, we propose a novel graph contrastive learning method, termed Mixed Graph Contrastive Network (MGCN). In our method, we improve the discriminative capability of the latent embeddings by an interpolation-based augmentation strategy and a correlation reduction mechanism. Specifically, we first conduct the interpolation-based augmentation in the latent space and then force the prediction model to change linearly between samples. Second, we enable the learned network to tell apart samples across two interpolation-perturbed views through forcing the correlation matrix across views to approximate an identity matrix. By combining the two settings, we extract rich supervision information from both the abundant unlabeled nodes and the rare yet valuable labeled nodes for discriminative representation learning. Extensive experimental results on six datasets demonstrate the effectiveness and the generality of MGCN compared to the existing state-of-the-art methods. The code of MGCN is available at https://github.com/xihongyang1999/MGCN on Github.

研究动机与目标

• 为解决尽管图神经网络（GNNs）具备强大的特征学习能力，但在半监督节点分类中仍长期存在的表示坍塌问题。
• 通过扩大潜在空间中的决策边界边际，提升节点表示的可分性。
• 通过相关性减少机制，增强数据增强视图之间的表示一致性。
• 通过统一的对比学习框架，有效利用丰富的无标签数据和稀缺的有标签数据。
• 开发一种可泛化且鲁棒的方法，在多样化图数据集上超越现有最先进方法。

提出的方法

• 提出一种混合图模块，在潜在空间中执行基于插值的数据增强，强制预测模型在插值样本之间呈线性变化。
• 引入一种相关性减少机制，约束两个增强视图之间的跨视图相关性矩阵，使其近似于单位矩阵。
• 结合基于插值的边际扩展与相关性减少，同时提升类间分离度和视图内一致性。
• 采用对比学习目标，通过插值生成多个视图，并在它们之间强制一致性，同时利用有标签和无标签节点。
• 使用超参数 α 控制插值强度，实验表明对参数变化具有鲁棒性。
• 通过 t-SNE 和相似性矩阵可视化，证明 MGCN 相较于基线方法在聚类效果和表示坍塌减少方面表现更优。

实验结果

研究问题

• RQ1 在潜在空间中基于插值的数据增强是否能提升决策边界边际并减少半监督 GNN 中的表示坍塌？
• RQ2 在插值视图之间强制执行跨视图相关性减少，是否能增强学习到的节点表示的可分性？
• RQ3 所提出的 MGCN 方法在多样化图数据集上的性能和鲁棒性方面，相较于最先进方法表现如何？
• RQ4 各个独立组件（混合图模块与相关性减少模块）对整体性能提升的贡献程度如何？
• RQ5 该方法对超参数变化（如插值强度和权衡参数）是否具有鲁棒性？

主要发现

• MGCN 在六个基准数据集上均达到最先进性能，优于现有方法（如 GCN、GPRGNN、MVGRL 和 MixupForGraph）。
• 消融研究证实，混合图模块在六个数据集上平均提升 1.81%，主要通过扩大决策边界边际实现。
• 相关性减少模块在 DBLP 数据集上额外带来 2.05% 的性能提升，证明其在增强特征可分性方面的有效性。
• 联合模型（MGCN）表现最佳，表明两个模块之间存在协同增益效应。
• 该方法对超参数 α 具有鲁棒性，不同取值下性能波动极小，表明其稳定性良好。
• t-SNE 和相似性矩阵可视化结果表明，MGCN 学习到的表示更具可分性，聚类结构更清晰，且表示坍塌现象显著减少，优于基线方法。