[论文解读] Label Contrastive Coding based Graph Neural Network for Graph Classification

Yuxiang Ren, Jiyang Bai+1 more|arXiv (Cornell University)|Jan 14, 2021

Advanced Graph Neural Networks参考文献 36被引用 4

一句话总结

该论文提出LCGNN，一种新颖的图神经网络，通过将标签对比编码与监督学习相结合，提升图分类性能。通过利用动态标签记忆库和动量更新的编码器，LCGNN增强了实例级别的类内紧凑性和类间可分性，在八个基准数据集中的七个上达到最先进性能，并在更少的训练数据下超越基线模型。

ABSTRACT

Graph classification is a critical research problem in many applications from different domains. In order to learn a graph classification model, the most widely used supervision component is an output layer together with classification loss (e.g.,cross-entropy loss together with softmax or margin loss). In fact, the discriminative information among instances are more fine-grained, which can benefit graph classification tasks. In this paper, we propose the novel Label Contrastive Coding based Graph Neural Network (LCGNN) to utilize label information more effectively and comprehensively. LCGNN still uses the classification loss to ensure the discriminability of classes. Meanwhile, LCGNN leverages the proposed Label Contrastive Loss derived from self-supervised learning to encourage instance-level intra-class compactness and inter-class separability. To power the contrastive learning, LCGNN introduces a dynamic label memory bank and a momentum updated encoder. Our extensive evaluations with eight benchmark graph datasets demonstrate that LCGNN can outperform state-of-the-art graph classification models. Experimental results also verify that LCGNN can achieve competitive performance with less training data because LCGNN exploits label information comprehensively.

研究动机与目标

• 为解决标准分类损失在捕捉图分类中细粒度实例级判别特征方面的局限性。
• 通过在正样本对选择中引入标签信息，将对比学习从无监督设置扩展到监督设置。
• 通过联合优化分类损失和标签对比损失，提升模型泛化能力和数据效率。
• 开发动态标签记忆库和动量更新的编码器，以稳定图表示学习中的对比学习。
• 实现端到端训练，有效利用实例和类别层面的标签信息。

提出的方法

• LCGNN引入标签对比损失，将同一标签的所有实例视为多个正样本对，促进类内紧凑性和类间可分性。
• 动态标签记忆库存储已标注图的编码表示，实现在训练步骤中的一致且可扩展的对比学习。
• 动量更新的编码器为对比学习生成目标嵌入，稳定训练过程并提升表示一致性。
• 模型联合优化标准交叉熵分类损失和所提出的标签对比损失，以平衡类别判别性和实例级特征学习。
• 该框架支持端到端训练，使对比组件能与下游分类目标直接对齐。
• 该方法兼容任意GNN主干网络（如GIN），并在标准图分类基准上进行评估。

实验结果

研究问题

• RQ1 标签信息能否在对比学习中被有效利用，以在标准分类损失之外进一步提升图表示质量？
• RQ2 与将每个实例视为独立类别的标准对比学习相比，标签对比编码有何差异？
• RQ3 通过更全面地利用标签信息，该方法能否在更少标注数据下实现更优性能？
• RQ4 对比损失权重和动量等超参数对模型性能有何影响？
• RQ5 动态记忆库和动量编码器机制是否能提升图对比学习中的训练稳定性和表示一致性？

主要发现

• LCGNN在八个基准图分类数据集中的七个上达到最先进性能，优于现有GNN模型。
• 在IMDB-BINARY数据集上，LCGNN采用GIN主干网络时达到76.1%的准确率，优于基线GIN模型。
• 当训练数据减少至60%时，LCGNN仍保持优越性能，而基线GIN模型需70%数据才能达到其性能水平。
• 消融实验表明，标签对比编码显著优于InfoNCE损失，后者甚至不如基线GIN模型。
• 最优对比损失权重β位于[0.5, 1.0]范围内，性能在β = 0.6–0.8之间达到峰值，表明实例级与类别级学习之间存在权衡。
• 动量项对性能影响极小，表明当数据集规模适中时，即使不使用动量，该方法也具有高度稳定性。