[论文解读] Bayesian Generative Active Deep Learning

Toan Tran, Thanh-Toan Do+2 more|arXiv (Cornell University)|Apr 26, 2019

Machine Learning and Algorithms被引用 22

一句话总结

本文提出了一种贝叶斯生成主动深度学习框架，将主动学习与变分自编码器-条件生成对抗网络（VAE-ACGAN）生成相结合，以生成高度信息量的合成训练样本。通过使用BALD不确定性获取方法选择信息量最大的未标注数据，并基于这些数据生成多样化且高质量的样本，该方法在显著降低标注和计算成本的前提下，实现了优于标准主动学习或数据增强的分类准确率。

ABSTRACT

Deep learning models have demonstrated outstanding performance in several problems, but their training process tends to require immense amounts of computational and human resources for training and labeling, constraining the types of problems that can be tackled. Therefore, the design of effective training methods that require small labeled training sets is an important research direction that will allow a more effective use of resources.Among current approaches designed to address this issue, two are particularly interesting: data augmentation and active learning. Data augmentation achieves this goal by artificially generating new training points, while active learning relies on the selection of the "most informative" subset of unlabeled training samples to be labelled by an oracle. Although successful in practice, data augmentation can waste computational resources because it indiscriminately generates samples that are not guaranteed to be informative, and active learning selects a small subset of informative samples (from a large un-annotated set) that may be insufficient for the training process. In this paper, we propose a Bayesian generative active deep learning approach that combines active learning with data augmentation -- we provide theoretical and empirical evidence (MNIST, CIFAR-$\{10,100\}$, and SVHN) that our approach has more efficient training and better classification results than data augmentation and active learning.

研究动机与目标

• 通过减少对大规模标注数据集的依赖，解决深度学习的高计算和标注成本问题。
• 克服无差别数据增强的低效性，后者会生成无信息量的样本。
• 通过用高质量合成数据扩充小而信息量大的数据集，缓解主动学习中的过拟合问题。
• 开发一种联合训练框架，整合基于不确定性的样本选择与生成建模，以提升模型泛化能力。
• 证明生成信息量丰富的合成数据可带来优于标准数据增强或仅使用主动学习的性能表现。

提出的方法

• 利用基于分歧的贝叶斯主动学习（BALD）从大规模未标注数据池中选择最不确定且最具信息量的样本。
• 基于所选的高信息量样本，训练一个条件VAE-ACGAN模型，以生成新的合成训练数据。
• 将生成的样本纳入标注数据集中用于重新训练，实现迭代优化。
• 采用联合训练策略，使生成模型与分类器同步训练，提升生成样本的相关性。
• 利用基于互信息的获取函数，优先选择能最大程度减少模型不确定性的样本。
• 在多个基准数据集（MNIST、CIFAR-10/100、SVHN）上应用该方法，并采用ResNet架构验证其鲁棒性。

实验结果

研究问题

• RQ1 将主动学习与生成建模相结合，是否能产生比标准数据增强更具信息量的合成数据？
• RQ2 基于高度不确定、主动选择的数据生成样本，是否能实现更快收敛和更优性能？
• RQ3 与采用标准数据增强的主动学习相比，该方法在准确率和样本效率方面表现如何？
• RQ4 该方法是否能在仅使用少量标注数据的情况下，达到与全量数据训练相当的性能？
• RQ5 VAE-ACGAN生成器在生成高质量、高信息量样本方面效果如何，能否有效提升下游分类性能？

主要发现

• 所提出的AL w. VAEACGAN方法在MNIST、CIFAR-10、CIFAR-100和SVHN上，于多种模型中均优于标准主动学习和数据增强方法。
• 在ResNet18上的CIFAR-100实验中，AL w. VAEACGAN相较于AL w. ACGAN（p ≤ 0.05）和部分训练的BDA均表现出统计显著的性能提升。
• 该方法仅使用十分之一的训练数据，即可达到与全量数据BDA相当的竞争力准确率，展现出极高的样本效率。
• AL w. VAEACGAN生成的样本在平均信息价值（通过获取函数衡量）上高于AL w. ACGAN，尤其在训练后期更为显著。
• AL w. VAEACGAN比AL w. ACGGAN更快收敛至BDA的性能水平，表明其样本生成更具有效性。
• 尽管计算成本高于BALD或BDA，但该方法在更少标注样本下实现了更优性能，证明了该权衡的合理性。