[论文解读] Every Node Counts: Self-Ensembling Graph Convolutional Networks for Semi-Supervised Learning

Yawei Luo, Tao Guan+3 more|arXiv (Cornell University)|Sep 26, 2018

Advanced Graph Neural Networks参考文献 31被引用 6

一句话总结

该论文提出了一种新型半监督学习框架——自集成图卷积网络（SEGCN），将均值教师训练范式融入图卷积网络（GCNs），通过学生与教师模型之间的相互一致性，利用未标记节点提升节点分类性能。SEGCN在引文网络（Cora、Citeseer、PubMed）上实现了最先进性能，尤其在低标签率设置下表现优异，通过自集成和基于扰动的一致性训练，实现了来自已标记节点和远程未标记节点的有效梯度传播。

ABSTRACT

Graph convolutional network (GCN) provides a powerful means for graph-based semi-supervised tasks. However, as a localized first-order approximation of spectral graph convolution, the classic GCN can not take full advantage of unlabeled data, especially when the unlabeled node is far from labeled ones. To capitalize on the information from unlabeled nodes to boost the training for GCN, we propose a novel framework named Self-Ensembling GCN (SEGCN), which marries GCN with Mean Teacher - another powerful model in semi-supervised learning. SEGCN contains a student model and a teacher model. As a student, it not only learns to correctly classify the labeled nodes, but also tries to be consistent with the teacher on unlabeled nodes in more challenging situations, such as a high dropout rate and graph collapse. As a teacher, it averages the student model weights and generates more accurate predictions to lead the student. In such a mutual-promoting process, both labeled and unlabeled samples can be fully utilized for backpropagating effective gradients to train GCN. In three article classification tasks, i.e. Citeseer, Cora and Pubmed, we validate that the proposed method matches the state of the arts in the classification accuracy.

研究动机与目标

• 解决GCN在利用远离已标记节点的未标记节点时受限于感受野有限的问题。
• 通过促进未标记节点参与训练的相互学习机制，提升半监督节点分类性能。
• 通过引入带有扰动的学生模型和蒸馏教师预测的自集成机制，克服标准GCN中远程节点梯度传播效果差的问题。
• 验证学生与教师模型之间的相互学习能否在低标签率设置下稳定训练并降低方差。

提出的方法

• SEGCN采用学生-教师框架，其中学生模型在数据扰动（特征掩码和邻接掩码）下进行训练，而教师模型则使用学生权重的慢速平均版本。
• 学生模型采用双重损失：在已标记节点上使用监督交叉熵损失，同时在未标记节点上施加无监督一致性损失，强制学生预测与教师预测保持一致。
• 通过特征掩码（P_f）和邻接掩码（P_A）施加扰动，增加一致性目标的难度，从而提升泛化能力。
• 教师模型通过学生权重的指数移动平均（EMA）进行更新，确保自训练过程中预测的稳定与准确。
• 该框架实现了来自已标记节点和远程未标记节点的有效反向传播，提升了全图范围的特征表示学习。
• 该方法端到端应用于引文网络（Cora、Citeseer、PubMed），消融实验验证了各组件的贡献。

实验结果

研究问题

• RQ1 学生与教师模型之间的相互学习是否能通过利用K跳邻域之外的未标记节点信息，提升GCN性能？
• RQ2 基于扰动的一致性训练（通过P_A和P_f实现）在低标签率设置下对模型泛化能力和鲁棒性有何影响？
• RQ3 自集成机制是否能降低随机数据划分下的性能方差，提升半监督节点分类的稳定性？
• RQ4 与标准GCN相比，基于EMA的教师模型在预测一致性与泛化能力方面提升程度如何？
• RQ5 SEGCN能否在仅使用极少已标记数据的情况下，在引文网络基准上实现最先进性能？

主要发现

• 在PubMed数据集上，SEGCN仅使用每类200个已标记样本即达到84.7%的准确率，优于GCN、DCNN和N-GCN等先前方法。
• 在Cora数据集上，消融实验表明，当同时结合两种扰动和自训练时，SEGCN达到83.5%的准确率，证明了各组件之间的互补性。
• 该方法显著降低了在随机划分下的性能方差，尤其在标签数据稀缺时表现更优，表明训练更加稳定。
• t-SNE可视化结果表明，SEGCN学习到了更具判别性且更紧凑的特征表示，尤其在远离已标记簇的远程节点上表现突出。
• 消融实验显示，特征掩码（P_f）和邻接掩码（P_A）均优于随机擦除方法，其中P_A效果更显著。
• 与单模型训练相比，使用教师模型进行自训练带来了显著性能提升，验证了相互学习机制的有效性。