[论文解读] Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification

Yu Wang, Charu C. Aggarwal+1 more|arXiv (Cornell University)|Oct 22, 2021

Imbalanced Data Classification Techniques参考文献 37被引用 9

一句话总结

该论文提出了一种新型图神经网络框架——基于距离的原型图神经网络（DPGNN），用于处理类别不平衡的节点分类问题。该方法通过类别原型驱动的训练策略平衡各类别的损失贡献，并结合距离度量学习增强节点表征与类别原型之间的判别能力。在8个真实世界数据集上，DPGNN显著优于基线模型，展现出在图结构化数据类别不平衡问题上的最先进性能。

ABSTRACT

Recent years have witnessed the significant success of applying graph neural networks (GNNs) in learning effective node representations for classification. However, current GNNs are mostly built under the balanced data-splitting, which is inconsistent with many real-world networks where the number of training nodes can be extremely imbalanced among the classes. Thus, directly utilizing current GNNs on imbalanced data would generate coarse representations of nodes in minority classes and ultimately compromise the classification performance. This therefore portends the importance of developing effective GNNs for handling imbalanced graph data. In this work, we propose a novel Distance-wise Prototypical Graph Neural Network (DPGNN), which proposes a class prototype-driven training to balance the training loss between majority and minority classes and then leverages distance metric learning to differentiate the contributions of different dimensions of representations and fully encode the relative position of each node to each class prototype. Moreover, we design a new imbalanced label propagation mechanism to derive extra supervision from unlabeled nodes and employ self-supervised learning to smooth representations of adjacent nodes while separating inter-class prototypes. Comprehensive node classification experiments and parameter analysis on multiple networks are conducted and the proposed DPGNN almost always significantly outperforms all other baselines, which demonstrates its effectiveness in imbalanced node classification. The implementation of DPGNN is available at \url{https://github.com/YuWVandy/DPGNN}.

研究动机与目标

• 为解决图神经网络中类别不平衡的关键挑战，即少数类别样本不足且学习效果差。
• 缓解在类别不平衡标注数据上标准GNN训练过程中对多数类别产生的偏差。
• 通过构建更具代表性的类别原型，改善少数类别节点的表征学习。
• 通过距离度量学习增强节点嵌入与类别原型之间的判别能力。
• 通过新颖的类别不平衡标签传播机制与自监督学习，利用未标记节点以提升泛化能力。

提出的方法

• 提出一种类别原型驱动的训练方案，平衡各类别对训练损失的贡献，降低多数类别的主导影响。
• 采用距离度量学习，计算并优化每个节点表征与所有类别原型之间的相对距离，突出具有信息量的维度。
• 设计一种类别不平衡的标签传播机制，将伪标签从已标记节点传播至未标记节点，并引入类别特定的加权策略以应对类别不平衡。
• 应用自监督学习，平滑邻近节点的表征，同时保持不同类别原型之间的分离性。
• 采用两阶段学习流程：首先进行原型驱动训练以稳定优化过程；其次进行距离度量学习以细化表征的判别能力。
• 利用t-SNE可视化与轮廓系数分析所学表征质量及聚类效果。

实验结果

研究问题

• RQ1 原型驱动的训练方案是否能有效平衡图神经网络中少数类与多数类对损失的贡献？
• RQ2 距离度量学习是否能提升节点表征相对于类别原型的判别能力？
• RQ3 从未标记节点传播的不平衡标签能否提供有意义的监督信号以增强少数类的学习？
• RQ4 自监督学习在多大程度上提升了不平衡图中节点表征的鲁棒性与类间分离性？
• RQ5 在多样化的现实世界不平衡图数据集上，DPGNN与现有最先进方法相比性能如何？

主要发现

• 在8个真实世界数据集上，DPGNN的F1-macro得分显著高于所有基线模型，展现出在类别不平衡节点分类任务中的持续优越性。
• 距离度量表示学习的使用确保了任一节点到其所属类别原型的距离始终最短，从而降低误分类风险。
• t-SNE可视化显示，DPGNN的距离度量表示在不同类别间分离更清晰，轮廓系数（0.117 vs. 0.099）高于GCN。
• 该模型通过学习更具代表性的原型，缓解了少数类的聚类偏差——即GCN的表征会错误地聚集在错误的原型周围。
• 消融实验表明，自监督学习与不平衡标签传播对性能提升均至关重要，尤其在少数类上表现显著。
• 即使在极端类别不平衡条件下，模型仍能保持性能优势，且在Cora与Citeseer数据集上，不同标签传播阈值下均表现出一致的性能提升。