[论文解读] Adversarial Classifier for Imbalanced Problems

Ehsan Montahaei, Mahsa Ghorbani+2 more|arXiv (Cornell University)|Nov 21, 2018

Imbalanced Data Classification Techniques参考文献 23被引用 11

一句话总结

本文提出了一种用于类别不平衡分类的对抗性重加权方法（Adversarially Re-weighting for Imbalanced Classification, ARIC），该方法通过为多数类样本动态分配权重来提升分类器在类别不平衡数据集上的性能。通过训练一个生成器以突出显示信息量丰富的负样本，同时训练一个判别器以对加权样本进行分类，ARIC在表格类别不平衡分类和图表示学习任务（如链接预测与多标签节点分类）中均实现了最先进性能。

ABSTRACT

Adversarial approach has been widely used for data generation in the last few years. However, this approach has not been extensively utilized for classifier training. In this paper, we propose an adversarial framework for classifier training that can also handle imbalanced data. Indeed, a network is trained via an adversarial approach to give weights to samples of the majority class such that the obtained classification problem becomes more challenging for the discriminator and thus boosts its classification capability. In addition to the general imbalanced classification problems, the proposed method can also be used for problems such as graph representation learning in which it is desired to discriminate similar nodes from dissimilar nodes. Experimental results on imbalanced data classification and on the tasks like graph link prediction show the superiority of the proposed method compared to the state-of-the-art methods.

研究动机与目标

• 解决类别不平衡数据集中少数类性能较差的挑战，尤其是在深度学习中，类别不平衡会扭曲表示学习。
• 克服传统方法（如随机欠采样和代价敏感学习）的局限性，这些方法可能丢弃信息量丰富的样本，或无法自适应地加权数据。
• 开发一种可泛化的框架，在不生成合成样本的情况下提升分类器的鲁棒性，适用于包括离散特征在内的多种数据类型。
• 将对抗性训练范式从数据生成扩展到直接增强类别不平衡设置下的分类器学习。
• 在图表示学习中证明该方法的有效性，特别是在正样本对远少于负样本的链接预测和多标签节点分类任务中。

提出的方法

• 训练一个生成器网络，学习多数类（负类）样本的分布，为每个样本分配一个连续权重，以表示其在训练中的重要性。
• 利用生成器的输出对分类损失中的负样本进行重加权，使判别器面临更具挑战性的分类任务。
• 在正样本和加权负样本上对抗性地训练判别器，迫使其学习更鲁棒的决策边界。
• 通过最小-最大博弈优化两个网络：生成器旨在通过选择信息量丰富的负样本使分类任务更困难，而判别器则旨在保持高准确率。
• 在下游任务中直接使用最终训练好的判别器，无需微调，并对概率值进行四舍五入以避免测试集类别不平衡带来的偏差。
• 通过将连接的节点对视为正样本，未连接的节点对视为负样本，将该框架适配于图表示学习，学习一个能更好区分相似度的潜在空间。

实验结果

研究问题

• RQ1 对抗性训练能否被有效重用于在不生成合成数据的情况下提升类别不平衡数据集上的分类器性能？
• RQ2 通过对抗性生成器学习多数类样本的权重，是否能带来更好的泛化能力和更高的少数类性能？
• RQ3 所提出的ARIC框架是否能在表格类别不平衡分类和图表示学习任务中均超越最先进方法？
• RQ4 在图链接预测中，对抗性重加权机制是否比随机或均匀采样负样本更有效？
• RQ5 ARIC在多标签节点分类中通过提升节点嵌入质量，能在多大程度上改善性能？

主要发现

• 在arXiv-AstroPh和arXiv-GrQc数据集中，ARIC在链接预测任务中分别实现了91.90%的准确率和91.26%的Macro-F1，显著优于DeepWalk（82.52%准确率）、node2vec（82.49%）和GraphGAN（81.86%）。
• 在BlogCatalog数据集的多标签节点分类任务中，ARIC实现了0.380的Micro-F1和0.198的Macro-F1，优于DeepWalk（0.375和0.193）和GraphGAN（0.284和0.127）。
• 在Wikipedia数据集中，ARIC实现了0.481的Micro-F1和0.084的Macro-F1，优于DeepWalk（0.472和0.079）和GraphGAN（0.472和0.079）。
• 在多个数据集和指标上的持续改进，证实了对多数类样本进行对抗性重加权可增强模型泛化能力和表示学习能力。
• ARIC的性能增益归因于生成器聚焦于难分类、信息量丰富的负样本，使判别器更加鲁棒和准确。
• 该方法不仅在表格数据中表现良好，还在图任务中展现出强大性能，尤其在正样本稀少、分类问题高度不平衡的场景中。