[论文解读] Data Augmentation Generative Adversarial Networks

Antreas Antoniou, Amos Storkey+1 more|arXiv (Cornell University)|Nov 12, 2017

Domain Adaptation and Few-Shot Learning参考文献 20被引用 806

一句话总结

DAGAN 学习从源域使用条件GAN生成同类内数据增强，以在低数据目标域中提升表现，提升普通分类器和小样本学习方法；在 Omniglot、EMNIST 和 VGG-Face 上测试，取得显著的准确性提升。

ABSTRACT

Effective training of neural networks requires much data. In the low-data regime, parameters are underdetermined, and learnt networks generalise poorly. Data Augmentation alleviates this by using existing data more effectively. However standard data augmentation produces only limited plausible alternative data. Given there is potential to generate a much broader set of augmentations, we design and train a generative model to do data augmentation. The model, based on image conditional Generative Adversarial Networks, takes data from a source domain and learns to take any data item and generalise it to generate other within-class data items. As this generative process does not depend on the classes themselves, it can be applied to novel unseen classes of data. We show that a Data Augmentation Generative Adversarial Network (DAGAN) augments standard vanilla classifiers well. We also show a DAGAN can enhance few-shot learning systems such as Matching Networks. We demonstrate these approaches on Omniglot, on EMNIST having learnt the DAGAN on Omniglot, and VGG-Face data. In our experiments we can see over 13% increase in accuracy in the low-data regime experiments in Omniglot (from 69% to 82%), EMNIST (73.9% to 76%) and VGG-Face (4.5% to 12%); in Matching Networks for Omniglot we observe an increase of 0.5% (from 96.9% to 97.4%) and an increase of 1.8% in EMNIST (from 59.5% to 61.3%).

研究动机与目标

• 通过学习更丰富的数据增强策略来提升低数据情境下的泛化能力。
• 提出一个数据增强GAN（DAGAN），从源域学习跨类、同类内的增强。
• 证明DAGAN增强可提升普通分类器和小样本学习系统。
• 展示跨域适用性：将 Omniglot 的增强转移到 EMNIST 与 VGG-Face 数据集。

提出的方法

• 引入一个DAGAN架构，将UNet/ResNet风格生成器（UResNet）与DenseNet判别器相结合。
• 使用编码器 g(x) 获得表示 r，连接潜在变量 z ~ N(0,I)，并解码生成增强图像 x = f(z,r)。
• 在源域使用改进的 Wasserstein GAN 目标和一个将同类真实对与GAN生成增强进行比较的 critic 进行训练。
• 将原始输入 x 提供给判别器，确保模型学习跨类可泛化的增强，而不依赖类别标签。
• 在真实数据加上DAGAN增强的数据上训练DenseNet分类器，使用真实/伪标签引导网络权衡真实数据与生成数据。

实验结果

研究问题

• RQ1 学习的数据增强模型是否能够在低数据情境中对未见类别进行泛化？
• RQ2 DAGAN 生成的增强在普通和小样本学习设置中，是否在不同数据集上提升分类性能？
• RQ3 与标准增强及其他元学习方法相比，元学习增强策略对一类学习是否有益？
• RQ4 在源域学习的增强是否能有效转移到数据集存在显著偏移的目标域？

主要发现

Experiment ID	Samples Per Class	Test Accuracy
Omni_5_Standard	5	0.689904
Omni_5_DAGAN_Augmented	5	0.821314
Omni_10_Standard	10	0.794071
Omni_10_DAGAN_Augmented	10	0.862179
Omni_15_Standard	15	0.819712
Omni_15_DAGAN_Augmented	15	0.874199
EMNIST_Standard	15	0.739353
EMNIST_DAGAN_Augmented	15	0.760701
EMNIST_Standard	25	0.783539
EMNIST_DAGAN_Augmented	25	0.802598
EMNIST_Standard	50	0.815055
EMNIST_DAGAN_Augmented	50	0.827832
EMNIST_Standard	100	0.837787
EMNIST_DAGAN_Augmented	100	0.848009
VGG-Face_Standard	5	0.0446948
VGG-Face_DAGAN_Augmented	5	0.125969
VGG-Face_Standard	15	0.39329
VGG-Face_DAGAN_Augmented	15	0.429385
VGG-Face_Standard	25	0.579942
VGG-Face_DAGAN_Augmented	25	0.584666

• DAGAN 增强在所有目标域实验中提升了普通分类器的准确率。
• Omniglot：准确率从 69.0%（标准）提升到 82.1%（DAGAN 增强），每类5样本。
• EMNIST：准确率从 73.9%（标准）提升到 76.1%（DAGAN 增强），每类15样本；更多样本时提升幅度达到0. value。
• VGG-Face：准确率从 4.5%（标准）提升到 12.0%（DAGAN 增强），每类5样本。
• 在一-shot 匹配网络中，DAGAN 增强带来提升，例如 Omniglot 从 96.9% 提升到 97.4%（+0.5%），EMNIST 从 59.5% 提升到 61.3%（+1.8%）。
• 表 1 显示普通分类器在 Omniglot、EMNIST 与 VGG-Face 数据集上，DAGAN 增强提升测试准确率的结果。
• 表 2 将 DAGAN 增强结果与 Omniglot 上的各种一-shot 学习方法比较，显示有竞争力的提升。