[论文解读] DADA: Deep Adversarial Data Augmentation for Extremely Low Data Regime Classification

Xiaofeng Zhang, Zhangyang Wang+2 more|arXiv (Cornell University)|Aug 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 7

一句话总结

DADA 提出了一种深度对抗性数据增强框架，通过训练一个类别条件的监督 GAN，为极低数据量场景生成语义上有意义且多样化的合成样本。通过引入一种新型的 2k 损失函数，使真实数据与增强数据的决策边界对齐，DADA 在仅使用标注数据的情况下显著提升了图像和 EEG 分类任务的泛化能力，在 CIFAR、KDEF、BCI 和 CBIS-DDSM 数据集上均优于传统增强方法和基于 GAN 的基线模型。

ABSTRACT

Deep learning has revolutionized the performance of classification, but meanwhile demands sufficient labeled data for training. Given insufficient data, while many techniques have been developed to help combat overfitting, the challenge remains if one tries to train deep networks, especially in the ill-posed extremely low data regimes: only a small set of labeled data are available, and nothing -- including unlabeled data -- else. Such regimes arise from practical situations where not only data labeling but also data collection itself is expensive. We propose a deep adversarial data augmentation (DADA) technique to address the problem, in which we elaborately formulate data augmentation as a problem of training a class-conditional and supervised generative adversarial network (GAN). Specifically, a new discriminator loss is proposed to fit the goal of data augmentation, through which both real and augmented samples are enforced to contribute to and be consistent in finding the decision boundaries. Tailored training techniques are developed accordingly. To quantitatively validate its effectiveness, we first perform extensive simulations to show that DADA substantially outperforms both traditional data augmentation and a few GAN-based options. We then extend experiments to three real-world small labeled datasets where existing data augmentation and/or transfer learning strategies are either less effective or infeasible. All results endorse the superior capability of DADA in enhancing the generalization ability of deep networks trained in practical extremely low data regimes. Source code is available at https://github.com/SchafferZhang/DADA.

研究动机与目标

• 为解决在仅有少量标注样本且无法访问未标注数据或相似数据集的情况下训练深度分类器的挑战。
• 开发一种基于学习、类别条件且完全监督的数据增强方法，不依赖领域特定先验知识或未标注数据。
• 通过生成与真实数据决策边界对齐的多样化、语义上有意义的增强样本，提升在极低数据量场景下的模型泛化能力。
• 在合成基准和真实世界低数据应用中验证 DADA 的有效性，包括医学影像和 EEG 信号分类。

提出的方法

• 将数据增强建模为一个监督 GAN 训练问题，其中生成器生成类别条件的增强样本，判别器区分真实样本与生成样本。
• 为判别器引入一种新型的 2k 损失函数，将真实图像和生成的增强样本均分类为 k 个类别，强制真实数据与生成数据在决策边界上保持一致。
• 以端到端方式联合训练生成器和分类器，同时优化分类准确率和增强样本的质量。
• 使用标准的 CNN 架构作为分类器和生成器，通过将 EEG 信号视为具有时间维和频率维的 2D '图像'，对非图像数据进行处理。
• 为保证与 Tanda 的公平比较，仅在 DADA_augmented 基线中应用最小限度的传统增强（旋转、缩放、对比度调整），而 DADA 完全从标注数据中学习增强策略。
• 通过将 EEG 信号重新解释为 2D 张量，并采用与图像任务相似的模型架构，将该框架适配至非图像数据。

实验结果

研究问题

• RQ1 一种完全监督、类别条件的基于 GAN 的数据增强方法是否能在极低数据量场景下超越传统增强和基于 GAN 的基线方法？
• RQ2 所提出的 2k 损失函数是否通过强制真实样本与增强样本之间的边界一致性，实现优于标准 k+1 GAN 损失的泛化性能？
• RQ3 当无法获取未标注数据或来自相似领域的可迁移数据时，DADA 是否能有效提升深度神经网络的性能？
• RQ4 DADA 在真实世界低数据集（如 KDEF（面部表情）、BCI Competition IV（EEG 信号）和 CBIS-DDSM（乳腺摄影））上的表现如何？
• RQ5 DADA 的数据生成对决策边界质量有何影响，特别是当增强样本在视觉上不自然时？

主要发现

• 在仅使用 100 个标注样本的 CIFAR-10 和 CIFAR-100 上，DADA 分别取得了 85.6% 和 60.3% 的 top-1 准确率，显著优于传统增强和基于 GAN 的基线方法。
• 在面部表情识别的 KDEF 数据集上，DADA 平均准确率达到 79.3%，比最佳基线（CNN-SAE）高出 1.7 个百分点。
• 在 BCI Competition IV 的 EEG 信号分类数据集上，DADA 在九名受试者上的平均准确率为 79.3%，超过 CNN-SAE 基线 1.7 个百分点。
• 在 CBIS-DDSM 医学影像数据集上，DADA 达到 61.96% 的准确率，优于 Tanda 的平均场变体（59.90%）和 LSTM 变体（62.70%），而 DADA_augmented 使用最小限度传统增强后达到 65.49%。
• 对增强样本的视觉检查显示，DADA 通常生成非自然但边界优化的样本，表明其具有增强可分性的独特归纳偏差。
• 消融实验证实 2k 损失至关重要：移除该损失会显著降低性能，证明其在对齐真实数据与增强数据决策边界方面的重要作用。