[论文解读] Data Augmentation in Emotion Classification Using Generative Adversarial Networks
本文提出 CycleGAN-based 数据增强，用于在不平衡数据集上提升情感图像分类，通过生成少数类别样本并丰富数据流形，达到 5–10% 的准确率提升。
It is a difficult task to classify images with multiple class labels using only a small number of labeled examples, especially when the label (class) distribution is imbalanced. Emotion classification is such an example of imbalanced label distribution, because some classes of emotions like \emph{disgusted} are relatively rare comparing to other labels like {\it happy or sad}. In this paper, we propose a data augmentation method using generative adversarial networks (GAN). It can complement and complete the data manifold and find better margins between neighboring classes. Specifically, we design a framework with a CNN model as the classifier and a cycle-consistent adversarial networks (CycleGAN) as the generator. In order to avoid gradient vanishing problem, we employ the least-squared loss as adversarial loss. We also propose several evaluation methods on three benchmark datasets to validate GAN's performance. Empirical results show that we can obtain 5%~10% increase in the classification accuracy after employing the GAN-based data augmentation techniques.
研究动机与目标
- 解决面部表情识别中不平衡情感数据集的挑战。
- 提出一个 CycleGAN-based 数据增强框架以生成少数类别图像。
- 评估 GAN 生成数据对跨多个基准的分类性能的影响。
提出的方法
- 使用一个 CNN 分类器进行情感图像识别。
- 使用 CycleGAN with least-squared loss (LSGAN) 来在 reference 与 target 情感域之间生成图像。
- 将 LSGAN 损失与 cycle-consistency 损失结合，训练域间的图像翻译。
- 将 GAN 生成的样本加入训练集，并在 FER2013、SFEW 和 JAFFE 数据集上进行评估。
- 使用 t-SNE 可视化数据流形的改进并分析类别之间的边界。
实验结果
研究问题
- RQ1CycleGAN-based 数据增强是否能在不平衡情感数据集中提升分类准确率？
- RQ2将 LSGAN 损失与 cycle-consistency 损失结合是否能稳定训练、提升样本质量？
- RQ3GAN 生成的样本是否能有意义地完善数据流形并扩大情感类别之间的边界？
主要发现
- 在对 FER2013 的总体准确率在对少数类进行增强时，基于 GAN 的数据增强带来改进。
- 在增强后， Disgust 和 sad 类别显示出显著的准确率提升。
- 在从 FER2013 迁移并在 SFEW 与 JAFFE 上进行微调的预训练再在 SFEW 与 JAFFE 上的性能提升。
- t-SNE 可视化表明在增强后，数据流形被扩展且类别间更加清晰。
- 该方法在情感分类任务中实现了大约 5–10% 的提升。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。