[论文解读] A Bayesian Data Augmentation Approach for Learning Deep Models

Toan Tran, Trung Pham+3 more|arXiv (Cornell University)|Oct 29, 2017

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 117

一句话总结

这篇论文提出一种贝叶斯数据增强框架（GMCEM），它在深度模型中联合学习数据发生器和分类器，在 MNIST、CIFAR-10 和 CIFAR-100 上相较标准的 PMDA 和 AC-GAN 基线提高准确性。

ABSTRACT

Data augmentation is an essential part of the training process applied to deep learning models. The motivation is that a robust training process for deep learning models depends on large annotated datasets, which are expensive to be acquired, stored and processed. Therefore a reasonable alternative is to be able to automatically generate new annotated training samples using a process known as data augmentation. The dominant data augmentation approach in the field assumes that new training samples can be obtained via random geometric or appearance transformations applied to annotated training samples, but this is a strong assumption because it is unclear if this is a reliable generative model for producing new training samples. In this paper, we provide a novel Bayesian formulation to data augmentation, where new annotated training points are treated as missing variables and generated based on the distribution learned from the training set. For learning, we introduce a theoretically sound algorithm --- generalised Monte Carlo expectation maximisation, and demonstrate one possible implementation via an extension of the Generative Adversarial Network (GAN). Classification results on MNIST, CIFAR-10 and CIFAR-100 show the better performance of our proposed method compared to the current dominant data augmentation approach mentioned above --- the results also show that our approach produces better classification results than similar GAN models.

研究动机与目标

• 在注释数据有限且成本高昂时，推动鲁棒的深度模型训练。
• 提出一种贝叶斯数据增强框架，将合成样本视为来自学习分布的潜变量。
• 在 GMCEM 优化中联合学习生成器和分类器，以在训练过程中进行数据增强。
• 展示在 MNIST、CIFAR-10、CIFAR-100 上相较标准数据增强和 AC-GAN 基线的改进分类性能。

提出的方法

• 引入潜变量数据增广，其中合成样本 (z = (ta, xa)) 来自从训练数据学习得到的分布。
• 开发 Generalized Monte Carlo EM (GMCEM)，用于迭代地增广数据并更新深度模型参数。
• 将基于 GAN 的生成扩展为一个模块化架构，包括分类器 C、鉴定者 A 和生成器 G，使其能够与各种判别模型和生成模型灵活集成。
• 在 GMCEM 框架内提供基于 SGD 的优化，以确保实际收敛。
• 通过 lC 和 lA 将训练损失与 GMCEM 目标相关联，链接到概率形式（方程式 12–19）。
• 使用 ResNet 变体在 MNIST、CIFAR-10 和 CIFAR-100 上进行评估，并将结果与 PMDA 和 AC-GAN 基线进行比较。

实验结果

研究问题

• RQ1 提出的 GMCEM 基于贝叶斯数据增强是否在标准基准上提升了相较传统 PMDA 的分类准确性？
• RQ2 贝叶斯数据增强框架在为深度分类器产生有用增广方面，与 AC-GAN 及其他 GAN 变体相比如何？
• RQ3 生成器/分类器对是否能够在 GMCEM 公式中有效联合训练，以在学习过程中自适应增广？
• RQ4 增广数据量（M）的变化对各数据集的性能有何影响？

主要发现

• 贝叶斯 DA 方法在 MNIST、CIFAR-10 和 CIFAR-100 上提升了相对于 PMDA 的分类准确性。
• 在基准数据集上使用基于 ResNet 的分类器时，该方法优于 AC-GAN。
• 增加合成数据量（M）通常会带来更高的准确性。
• 该方法生成的合成数字和对象相当逼真，体现了实用的数据增强质量。
• 训练时间分析表明，在对 CIFAR-100 和 MNIST 采用合适架构进行训练后，贝叶斯方法的训练时间超过 PMDA。