[论文解读] Data Augmentation in Classification using GAN

Xinyue Zhu, Yifan Liu+1 more|arXiv (Cornell University)|Nov 2, 2017

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本论文提出了一种基于 GAN 的数据增强框架，采用 CycleGAN 与最小二乘对抗损失，以改善在类别不平衡情况下的图像分类性能，尤其针对情感识别任务。通过生成能够完整覆盖数据流形并提升类间边距的逼真合成图像，该方法在基准数据集上将分类准确率提升了 5%–10%。

ABSTRACT

It is a difficult task to classify images with multiple class labels using only a small number of labeled examples, especially when the label (class) distribution is imbalanced. Emotion classification is such an example of imbalanced label distribution, because some classes of emotions like \emph{disgusted} are relatively rare comparing to other labels like {\it happy or sad}. In this paper, we propose a data augmentation method using generative adversarial networks (GAN). It can complement and complete the data manifold and find better margins between neighboring classes. Specifically, we design a framework with a CNN model as the classifier and a cycle-consistent adversarial networks (CycleGAN) as the generator. In order to avoid gradient vanishing problem, we employ the least-squared loss as adversarial loss. We also propose several evaluation methods on three benchmark datasets to validate GAN's performance. Empirical results show that we can obtain 5%~10% increase in the classification accuracy after employing the GAN-based data augmentation techniques.

研究动机与目标

• 为解决在有限且类别不平衡的标注数据下进行图像分类的挑战，特别是针对情感识别中某些类别（例如“厌恶”）样本稀少的问题。
• 通过生成更贴近底层数据流形的逼真合成图像来扩充训练数据，从而提升分类性能。
• 通过采用最小二乘对抗损失，缓解 GAN 训练中常见的梯度消失问题。
• 在多个基准数据集上验证所提出的基于 GAN 的数据增强框架的有效性。

提出的方法

• 将 CNN 分类器与 CycleGAN 生成器联合训练，以生成用于数据增强的合成图像。
• CycleGAN 架构支持无配对图像到图像的转换，能够从源域生成多样化且逼真的样本。
• 采用最小二乘损失作为对抗损失，以稳定训练过程并减少 GAN 优化过程中的梯度消失问题。
• 通过生成位于相邻类别之间低密度区域的样本，增强类间边距。
• 生成器在转换图像以匹配目标类别分布的同时，保留语义内容。
• 在三个基准数据集上使用多种指标进行评估，以分析增强数据对分类准确率的影响。

实验结果

研究问题

• RQ1 当训练数据有限且类别不平衡时，基于 GAN 的数据增强是否能提升图像分类性能？
• RQ2 使用最小二乘损失的 CycleGAN 在生成用于数据增强的逼真且语义有意义的图像方面效果如何？
• RQ3 所提出的方法是否通过补全数据流形并寻找更优决策边界，有效提升类间分离度？
• RQ4 该增强技术在多大程度上减少了情感分类中高频类与稀有类之间的性能差距？
• RQ5 与标准数据增强技术相比，该方法在准确率提升方面表现如何？

主要发现

• 所提出的基于 GAN 的数据增强方法在多个基准数据集上实现了 5% 到 10% 的分类准确率提升。
• 采用最小二乘损失有效缓解了 GAN 训练过程中的梯度消失问题，从而实现更稳定、更高效的生成。
• 由 CycleGAN 生成的合成图像有助于补全数据流形，提升泛化能力并改善决策边界的分离效果。
• 该方法在类别不平衡数据集中尤其有效，显著降低了“厌恶”等稀有情感类别被误分类的情况。
• 在三个基准数据集上的评估结果证实了性能的持续提升，表明该方法在不同图像分类任务中均具有鲁棒性。