[论文解读] Deep Learning for Imbalance Data Classification using Class Expert Generative Adversarial Network

Fanny, Tjeng Wawan Cenggoro|arXiv (Cornell University)|Jul 12, 2018

Imbalanced Data Classification Techniques被引用 6

一句话总结

该论文提出类专家生成对抗网络（CE-GAN），一种深度学习框架，通过在共享分类器上微调前，对每个类别分别预训练特定类别的生成对抗网络（GAN），以捕捉各类别的独特特征。CE-GAN 在类别不平衡数据上实现了最先进性能，整体准确率（87.38%）和少数类别的精确率均得到提升，尤其是‘Bald’类（77.78%），优于基线CNN和其他基于GAN的方法。

ABSTRACT

Without any specific way for imbalance data classification, artificial intelligence algorithm cannot recognize data from minority classes easily. In general, modifying the existing algorithm by assuming that the training data is imbalanced, is the only way to handle imbalance data. However, for a normal data handling, this way mostly produces a deficient result. In this research, we propose a class expert generative adversarial network (CE-GAN) as the solution for imbalance data classification. CE-GAN is a modification in deep learning algorithm architecture that does not have an assumption that the training data is imbalance data. Moreover, CE-GAN is designed to identify more detail about the character of each class before classification step. CE-GAN has been proved in this research to give a good performance for imbalance data classification.

研究动机与目标

• 解决深度学习模型在类别不平衡数据集上表现不佳的问题，其中少数类别常因类别分布偏斜而被忽略。
• 克服现有方法在训练过程中假设类别不平衡的局限性，这些方法可能在平衡数据集上降低性能。
• 开发一种新型架构，通过预训练特定类别的模型来学习每个类别的独特特征，随后进行联合分类。
• 通过将GAN的判别特征迁移至共享分类器，提升整体准确率和精确率，特别是少数类别的表现。
• 探究冻结或微调迁移后的GAN权重对性能的影响，特别是在平衡少数类别预测方面的影响。

提出的方法

• 采用类别特定的GAN架构，每个GAN仅在单个类别上进行训练，以学习其独特的数据分布。
• 将GAN的判别器训练为二分类器，以区分目标类别的真实样本与生成样本，从而编码类别特定的特征。
• 将预训练的判别器权重（非自编码器式）迁移至共享的CNN分类器，利用GAN的判别能力。
• 在监督训练过程中对迁移后的权重进行微调，使特征适应完整的多类别任务。
• 比较两种变体：CE-GAN（可微调权重）和FCE-GAN（冻结权重），以评估微调对性能的影响。
• 将该方法应用于包含五个面部属性类别的切片CelebA数据集，其中存在极端类别不平衡（如‘Bald’为少数类别）。

实验结果

研究问题

• RQ1 与标准CNN相比，基于GAN的预训练策略是否能提升高度不平衡数据集上的分类性能？
• RQ2 使用GAN判别器进行类别特定预训练，是否能为少数类别识别提供比自编码器式预训练更优的特征表示？
• RQ3 微调迁移后的GAN权重如何影响少数类与多数类之间预测的平衡性？
• RQ4 CE-GAN框架是否在准确率和精确率方面均优于现有方法，如重采样、代价敏感学习或其他集成GAN的CNN？
• RQ5 冻结迁移后的GAN权重（FCE-GAN）与允许其微调（CE-GAN）相比，对少数类别检测的影响是什么？

主要发现

• CE-GAN CNN实现了最高整体准确率（87.38%），超过基线CNN（87.13%）和其他基于GAN的模型。
• CE-GAN显著提升了所有少数类别的精确率：5 O’Clock Shadow（65.20%）、Arched Eyebrows（76.00%）、Bags Under Eyes（77.35%）和Bald（77.78%），优于基线CNN。
• 多数类别‘Attractive’的精确率在CE-GAN下提升了1.57%，表明泛化能力更强且偏差更小。
• FCE-GAN（冻结迁移权重）表现显著较差，整体精确率仅为64.30%，低于使用重采样的CNN（52.54%）和CosenCNN（58.54%）。
• CE-GAN在五种类别中的四种类别上实现了最佳每类准确率，仅在‘Bags Under Eyes’类别上比基线CNN下降0.45%。
• 对生成图像的视觉检查证实，GAN成功捕捉了独特的类别特定特征（如光头、五点钟阴影），验证了预训练阶段的特征学习能力。