[论文解读] Effective Semi-Supervised Node Classification on Few-Labeled Graph Data

Ziang Zhou, J. Y. Shi+3 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Graph Neural Networks参考文献 48被引用 4

一句话总结

本文提出ABN，一种通过自适应伪标签、标签平衡处理类别分布偏斜以及负采样正则化，显著提升极少数标注节点图上半监督节点分类性能的框架。在仅每类1个标注节点的Cora数据集上，ABN将GCN的准确率从44.6%提升至62.5%，将DAGNN的准确率从59.8%提升至66.4%，在四个基准数据集上均达到当前最优性能。

ABSTRACT

Graph neural networks (GNNs) are designed for semi-supervised node classification on graphs where only a small subset of nodes have class labels. However, under extreme cases when very few labels are available (e.g., 1 labeled node per class), GNNs suffer from severe result quality degradation. Several existing studies make an initial effort to ease this situation, but are still far from satisfactory. In this paper, on few-labeled graph data, we propose an effective framework ABN that is readily applicable to both shallow and deep GNN architectures and significantly boosts classification accuracy. In particular, on a benchmark dataset Cora with only 1 labeled node per class, while the classic graph convolutional network (GCN) only has 44.6% accuracy, an immediate instantiation of ABN over GCN achieves 62.5% accuracy; when applied to a deep architecture DAGNN, ABN improves accuracy from 59.8% to 66.4%, which is state of the art. ABN obtains superior performance through three main algorithmic designs. First, it selects high-quality unlabeled nodes via an adaptive pseudo labeling technique, so as to adaptively enhance the training process of GNNs. Second, ABN balances the labels of the selected nodes on real-world skewed graph data by pseudo label balancing. Finally, a negative sampling regularizer is designed for ABN to further utilize the unlabeled nodes. The effectiveness of the three techniques in ABN is well-validated by both theoretical and empirical analysis. Extensive experiments, comparing 12 existing approaches on 4 benchmark datasets, demonstrate that ABN achieves state-of-the-art performance.

研究动机与目标

• 解决图神经网络（GNNs）在仅有少量节点被标注时性能严重下降的问题，特别是在极端少样本设置（如每类仅1个标注节点）下。
• 开发一种可泛化的框架，适用于浅层与深层GNN架构，以提升低标注率下的节点分类准确率。
• 克服现有方法在标签极度稀缺时性能下降的局限性。
• 通过智能伪标签和正则化技术有效利用未标注节点，提升模型泛化能力。
• 通过引入伪标签平衡机制，确保在类别分布偏斜的真实图上具备鲁棒性。

提出的方法

• 提出一种自适应伪标签技术，基于预测置信度和图结构动态选择高质量未标注节点，以提升GNN训练效果。
• 应用伪标签平衡机制，通过重加权或重采样伪标签节点来缓解真实图中类别不平衡的影响。
• 设计一种负采样正则化器，通过将正向伪标签节点与未标注集中的负样本进行对比，显式增强模型判别能力。
• 将自适应选择、标签平衡和负采样三个组件整合到统一框架中，无需修改网络架构即可显著提升GNN性能。
• 采用基于置信度的阈值筛选机制，过滤不可靠的伪标签，确保仅使用高置信度预测参与训练。
• 支持GCN及DAGNN等深层架构，证明其在各类GNN中的广泛适用性。

实验结果

研究问题

• RQ1 当每类仅有一个标注节点时，统一框架能否显著提升GNN在半监督节点分类任务上的性能？
• RQ2 自适应伪标签在极端标签稀缺条件下，能否有效选择具有信息量的未标注节点以增强GNN训练？
• RQ3 伪标签平衡在具有类别分布偏斜的真实图上，能在多大程度上提升性能？
• RQ4 负采样正则化在提升低标注图数据上模型泛化能力方面有何贡献？
• RQ5 所提出的ABN框架是否在低标注设置下于多样化基准数据集上均达到最先进性能？

主要发现

• 在仅每类1个标注节点的Cora数据集上，ABN将GCN准确率从44.6%提升至62.5%，显著优于标准GNN模型。
• 应用于深层DAGNN架构时，ABN将准确率从59.8%提升至66.4%，在相同少样本设置下创下Cora数据集新最先进结果。
• 在四个基准数据集上的广泛实验表明，ABN在低标注率下的半监督节点分类任务中持续优于12种现有方法。
• 消融实验验证，ABN的每个组件——自适应伪标签、标签平衡和负采样——均对整体性能提升有显著贡献。
• 该框架在浅层与深层GNN架构上均保持优异性能，证明其泛化能力与鲁棒性。
• 理论与实证分析验证，ABN的三个核心组件能有效稳定并提升极少数标注图上的训练动态。