[论文解读] GraphMixup: Improving Class-Imbalanced Node Classification on Graphs by Self-supervised Context Prediction

Lirong Wu, Haitao Lin+3 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Graph Neural Networks参考文献 24被引用 13

一句话总结

GraphMixup 提出了一种统一的端到端框架，通过语义级特征混合、基于自监督路径预测的上下文感知边混合，以及基于强化学习的自适应上采样，提升图上类别不平衡的节点分类性能。该方法在多种现实世界数据集上，涵盖不同类别不平衡比率，均实现了最先进性能。

ABSTRACT

Recent years have witnessed great success in handling node classification tasks with Graph Neural Networks (GNNs). However, most existing GNNs are based on the assumption that node samples for different classes are balanced, while for many real-world graphs, there exists the problem of class imbalance, i.e., some classes may have much fewer samples than others. In this case, directly training a GNN classifier with raw data would under-represent samples from those minority classes and result in sub-optimal performance. This paper presents GraphMixup, a novel mixup-based framework for improving class-imbalanced node classification on graphs. However, directly performing mixup in the input space or embedding space may produce out-of-domain samples due to the extreme sparsity of minority classes; hence we construct semantic relation spaces that allows the Feature Mixup to be performed at the semantic level. Moreover, we apply two context-based self-supervised techniques to capture both local and global information in the graph structure and then propose Edge Mixup specifically for graph data. Finally, we develop a \emph{Reinforcement Mixup} mechanism to adaptively determine how many samples are to be generated by mixup for those minority classes. Extensive experiments on three real-world datasets show that GraphMixup yields truly encouraging results for class-imbalanced node classification tasks.

研究动机与目标

• 解决图神经网络中类别不平衡的问题，其中少数类别样本不足，导致模型性能欠佳。
• 克服现有图设置中混合方法的局限性，例如由于少数类别特征稀疏性导致生成分布外样本。
• 设计一种自监督框架，捕捉局部与全局结构信息，以指导合成节点的逼真边生成。
• 用可学习的自适应机制替代启发式上采样比例，以优化每个少数类别的合成样本数量。
• 在无需手动调参的情况下，实现对多种不平衡比率的一致性能提升。

提出的方法

• 构建解耦的语义关系空间，实现语义层面的特征混合，减少因少数类别特征稀疏性导致的分布外样本生成。
• 设计两种基于上下文的自监督任务——局部路径预测（Local-Path Prediction）与全局-局部路径预测（Glocal-Path Prediction），以捕捉局部与全局结构依赖关系，用于边生成。
• 利用这些自监督任务训练边预测器，以预测合成节点与现有节点之间的连接，从而实现逼真的边混合。
• 集成强化学习智能体，根据性能反馈动态确定每个少数类别的最优上采样规模。
• 在统一的端到端训练框架中整合语义特征混合、边混合与自适应上采样，实现联合优化。
• 使用瓶颈编码器（如 GCN、GAT、SAGE）并结合专用 SEM 模块以解耦语义特征，通过相关性分析验证其有效性。

实验结果

研究问题

• RQ1 语义层面的特征混合能否缓解图上高度稀疏少数类别中分布外样本的生成？
• RQ2 如何有效捕捉局部与全局结构信息，以指导合成节点的逼真边预测？
• RQ3 基于强化学习的自适应上采样机制是否优于启发式或固定尺度方法，在类别不平衡的节点分类中表现更优？
• RQ4 自监督上下文预测任务在多大程度上提升了模型在不平衡图数据上的泛化能力与鲁棒性？
• RQ5 所提出的框架是否能在广泛不平衡比率下持续超越现有最先进方法？

主要发现

• 在 Cora、PubMed、Reddit 三个真实世界数据集上，GraphMixup 在不同不平衡比率下均达到最高性能，优于包括 GraphSMOTE 和 SMOTE 在内的基线方法。
• 采用 SEM 瓶颈编码器并包含全部 GraphMixup 组件的变体（GraphMixup$_C$）在 Cora 数据集上取得 0.942 的 F1-macro 分数，较次优方法（GraphSMOTE）高出 0.012。
• 强化学习机制收敛至最优上采样规模 0.8（初始值为 0.5），与消融实验中固定比例设置下的最佳性能一致。
• 消融研究证实，Local-Path 和 Glocal-Path 预测任务均不可或缺，二者联合使用时 ROC-AUC 分数最高，整体性能最优。
• 相关性分析显示，SEM 模块在特征相关性图中产生四个清晰的对角块，证实语义特征被有效解耦。
• 移除强化学习机制（GraphMixup-Fix）后，当上采样比例超过 0.8 时性能下降，证实自适应缩放的必要性。