[论文解读] Effective Data Augmentation with Multi-Domain Learning GANs

Shin’ya Yamaguchi, Sekitoshi Kanai+1 more|arXiv (Cornell University)|Dec 25, 2019

Image Processing Techniques and Applications参考文献 33被引用 4

一句话总结

本文提出领域融合（Domain Fusion, DF），一种基于生成对抗网络（GAN）的多领域学习数据增强方法，通过在目标领域和外部外部领域上联合训练，提升在低资源数据集上的模型泛化能力。通过共享 GAN 参数，DF 生成高质量、多样化的样本，其性能优于传统数据增强方法和微调 GAN，仅使用 5,000 个目标样本即在 CIFAR-100、FGVC-Aircraft 和室内场景识别数据集上达到最先进准确率。

ABSTRACT

For deep learning applications, the massive data development (e.g., collecting, labeling), which is an essential process in building practical applications, still incurs seriously high costs. In this work, we propose an effective data augmentation method based on generative adversarial networks (GANs), called Domain Fusion. Our key idea is to import the knowledge contained in an outer dataset to a target model by using a multi-domain learning GAN. The multi-domain learning GAN simultaneously learns the outer and target dataset and generates new samples for the target tasks. The simultaneous learning process makes GANs generate the target samples with high fidelity and variety. As a result, we can obtain accurate models for the target tasks by using these generated samples even if we only have an extremely low volume target dataset. We experimentally evaluate the advantages of Domain Fusion in image classification tasks on 3 target datasets: CIFAR-100, FGVC-Aircraft, and Indoor Scene Recognition. When trained on each target dataset reduced the samples to 5,000 images, Domain Fusion achieves better classification accuracy than the data augmentation using fine-tuned GANs. Furthermore, we show that Domain Fusion improves the quality of generated samples, and the improvements can contribute to higher accuracy.

研究动机与目标

• 为解决深度学习中数据收集与标注的高成本及可扩展性有限问题。
• 克服传统数据增强方法的局限性，即无法从低资源数据集中生成真正未见过或多样化的样本。
• 通过基于 GAN 的生成方法，利用外部外部领域的知识，提升小样本目标数据集的模型泛化能力。
• 开发一种即使在目标数据极少的情况下也能生成高保真度、多样化样本的方法，避免因 GAN 输出质量差导致的性能下降。
• 系统评估外部领域选择与样本质量对下游分类性能的影响。

提出的方法

• 提出领域融合（DF），一种条件 GAN 框架，通过在目标数据集和外部外部数据集上联合训练，生成逼真且类别条件化的样本。
• 采用共享参数的多领域学习 GAN，在训练过程中将外部领域的知识迁移至目标领域。
• 提出一种新型度量方法，结合弗雷歇 inception 距离（FID）与多尺度结构相似性（MS-SSIM），基于领域相关性与样本多样性选择最相关的外部数据集。
• 将判别器拒绝采样（DRS）方法扩展至条件 GAN，用于过滤低质量、不真实的生成样本。
• 将 DF 生成的样本与传统数据增强方法结合，进一步提升模型准确率。
• 利用条件 GAN 生成特定类别的样本，确保生成数据与目标任务语义一致。

实验结果

研究问题

• RQ1 当训练数据极度有限时，多领域学习 GAN 是否能生成比微调 GAN 更高质量、更多样化的样本？
• RQ2 外部数据集的选择如何影响低数据量场景下数据增强的性能？
• RQ3 生成样本的质量在多大程度上与下游分类准确率相关？
• RQ4 将 DF 与传统数据增强结合，是否能获得优于仅使用传统增强方法的性能？
• RQ5 多领域学习是否比基于微调的方法更好地保留来自外部领域的知识？

主要发现

• 在仅使用 5,000 张训练图像的 CIFAR-100 上，领域融合（DF）的分类准确率高于传统数据增强和微调 GAN（TGANs）。
• 对于食品容器和家用家具超类，DF 分别将 top-1 准确率提升 1.25 和 1.21，优于 TGAN 和 CGAN。
• 对于人物超类，当以外部数据集 Pascal-VOC 作为外部域时，DF 实现 1.20 的准确率提升，显著高于 TGAN 的 1.07，表明知识迁移更优。
• 与 TGAN（FID: 135.5，IS: 3.29）相比，DF 生成的人物类别样本具有更低的 FID（125.6）和更高的 Inception Score（3.85），证实样本质量更高。
• DF 与传统数据增强结合的性能优于仅使用传统增强的方法，表明二者具有互补优势。
• 研究证实，生成样本质量（以 FID 和 IS 衡量）与最终分类准确率之间存在强相关性。