[论文解读] GraphSHA: Synthesizing Harder Samples for Class-Imbalanced Node Classification

Wen-Zhi Li, Chang‐Dong Wang+2 more|arXiv (Cornell University)|Jun 16, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

GraphSHA 提出了一种新颖的数据增强框架，通过在图结构数据中合成更具挑战性的少数类样本，缓解了节点分类中‘被压缩的少数类’问题。通过利用半监督混合策略（SemiMixup）从锚点节点和邻近类别辅助节点生成困难样本，GraphSHA 在不损害邻近类别性能的前提下扩大了少数类决策边界，在七个基准数据集上使用多种 GNN 主干网络均取得了最先进性能。

ABSTRACT

Class imbalance is the phenomenon that some classes have much fewer instances than others, which is ubiquitous in real-world graph-structured scenarios. Recent studies find that off-the-shelf Graph Neural Networks (GNNs) would under-represent minor class samples. We investigate this phenomenon and discover that the subspaces of minor classes being squeezed by those of the major ones in the latent space is the main cause of this failure. We are naturally inspired to enlarge the decision boundaries of minor classes and propose a general framework GraphSHA by Synthesizing HArder minor samples. Furthermore, to avoid the enlarged minor boundary violating the subspaces of neighbor classes, we also propose a module called SemiMixup to transmit enlarged boundary information to the interior of the minor classes while blocking information propagation from minor classes to neighbor classes. Empirically, GraphSHA shows its effectiveness in enlarging the decision boundaries of minor classes, as it outperforms various baseline methods in class-imbalanced node classification with different GNN backbone encoders over seven public benchmark datasets. Code is avilable at https://github.com/wenzhilics/GraphSHA.

研究动机与目标

• 为解决图神经网络中少数类子空间在潜在空间被压缩的‘被压缩的少数类’问题。
• 通过合成更具挑战性的训练样本以扩展决策边界，从而提升 GNN 在少数类上的性能。
• 通过阻断从少数类到邻近子空间的信息流动，防止邻近类别在合成过程中受到干扰。
• 开发一种可泛化的、与 GNN 无关的框架，在不修改损失函数的前提下增强少数类表示。

提出的方法

• GraphSHA 将位于决策边界附近的困难少数类样本识别为合成的锚点节点。
• 引入一个 SemiMixup 模块，通过凸组合生成合成样本：$\mathbf{X}_{\text{syn}} = \delta \mathbf{X}_{\text{anc}} + (1 - \delta) \mathbf{X}_{\text{aux}}$，其中 $\mathbf{X}_{\text{anc}}$ 为困难少数类样本，$\mathbf{X}_{\text{aux}}$ 为邻近类别节点。
• 混合系数 $\delta$ 从偏向较小值的分布中采样，以优先生成更具挑战性的样本。
• 该方法确保合成特征保留在少数类子空间内，同时防止过度侵入邻近类别区域。
• 采用拓扑感知采样策略，从锚点节点的邻近类别中选择辅助节点。
• 该框架兼容任意 GNN 主干网络，且在潜在空间中运行，无需修改原始图结构。

实验结果

研究问题

• RQ1 通过合成更具挑战性的少数类样本，能否有效扩大图神经网络潜在空间中少数类的决策边界？
• RQ2 如何防止合成更具挑战性的样本侵入或破坏邻近类别的子空间？
• RQ3 在 SemiMixup 模块中，混合系数 $\delta$ 的最优分布是什么，以在样本难度与泛化能力之间取得平衡？
• RQ4 GraphSHA 在手动和自然不平衡的图基准数据集上，是否优于现有的数据增强和损失函数修改基线方法？
• RQ5 GraphSHA 在多大程度上缓解了‘被压缩的少数类’问题，其衡量标准为误分类分布？

主要发现

• GraphSHA 显著降低了少数类的误分类率，误分类样本为少数类的概率接近 0.5，表明决策边界被有效扩大。
• 在 Cora-LT 和 CiteSeer-LT 数据集上使用 GCN 时，GraphSHA 在所有基线方法中取得了最高的 F1 分数，甚至优于 TAM 和 ReNode 等先进方法。
• SemiMixup 模块有效防止了邻近类别的性能下降，表现为尽管决策边界被大幅扩展，主要类别性能仍保持稳定。
• 超参数分析表明，$\mathbb{E}(\delta)$ 越小，性能越好，证实更具挑战性的样本在边界扩展中更有效。
• 通过 t-SNE 可视化证实，GraphSHA 有效扩大了少数类子空间，并将更多测试集中的少数类节点包含在其潜在区域中。
• 该方法在三种 GNN 主干网络（GCN、GAT、GraphSAGE）和七个公开数据集上均表现出色，展现出强大的泛化能力与可扩展性。