[论文解读] Exemplar VAEs for Exemplar based Generation and Data Augmentation

Sajad Norouzi, David J. Fleet+1 more|arXiv (Cornell University)|Jan 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 3

一句话总结

Exemplar VAEs 在潜在空间中通过训练样本的Parzen窗估计器引入非参数先验，实现将参数化VAE与基于实例的生成相结合的生成建模。通过在近似最近邻中检索相似潜在码并采用留一法训练，该模型提升了数据增强效果，使MNIST和Fashion-MNIST分类错误率分别降低41%和4.9%。

ABSTRACT

We introduce Exemplar VAEs, a family of generative models that bridge the gap between parametric and non-parametric, exemplar based generative models. Exemplar VAE is a variant of VAE with a non-parametric prior in the latent space based on a Parzen window estimator. To sample from it, one first draws a random exemplar from a training set, then stochastically transforms that exemplar into a latent code and a new observation. We propose retrieval augmented training (RAT) as a way to speed up Exemplar VAE training by using approximate nearest neighbor search in the latent space to define a lower bound on log marginal likelihood. To enhance generalization, model parameters are learned using exemplar leave-one-out and subsampling. Experiments demonstrate the effectiveness of Exemplar VAEs on density estimation and representation learning. Importantly, generative data augmentation using Exemplar VAEs on permutation invariant MNIST and Fashion MNIST reduces classification error from 1.17% to 0.69% and from 8.56% to 8.16%.

研究动机与目标

• 通过在潜在空间中引入基于训练样本的非参数先验，弥合参数化与非参数化生成模型之间的差距。
• 通过以实际训练样本作为采样基础，提升生成建模与数据增强效果。
• 通过潜在空间中的近似最近邻搜索实现检索增强训练（RAT），加速基于实例模型的训练。
• 通过训练过程中采用留一法和子采样策略，提升模型泛化能力。
• 通过生成式数据增强，在密度估计、表征学习和分类任务中实现性能提升。

提出的方法

• 该模型基于训练样本的Parzen窗估计器，在潜在空间中使用非参数先验。
• 采样过程涉及从训练集中随机选取一个实例，通过随机变换生成潜在码和新的观测样本。
• 检索增强训练（RAT）在潜在空间中采用近似最近邻搜索，计算对数边缘似然的下界，从而加速训练。
• 通过实例留一法和子采样策略优化模型参数，以提升泛化能力。
• 潜在空间的构建方式使得每个训练样本通过核平滑为先验密度做出贡献。
• 生成过程结合了实例的随机变换与潜在空间检索，以生成多样化且逼真的样本。

实验结果

研究问题

• RQ1 基于训练样本的非参数先验VAE是否能在生成质量和泛化能力上优于标准VAE？
• RQ2 如何通过潜在空间中的近似最近邻搜索，使基于实例的生成方法在可扩展性和效率上得到提升？
• RQ3 基于实例的数据增强在视觉基准上的下游分类性能提升程度如何？
• RQ4 留一法和子采样训练策略是否能提升基于实例模型的泛化能力？
• RQ5 所提出的模型是否能在密度估计和表征学习方面超越参数化VAE？

主要发现

• Exemplar VAEs 在基准数据集上的密度估计和表征学习任务中达到最先进性能。
• 使用Exemplar VAE进行生成式数据增强，可将排列不变MNIST的分类错误率从1.17%降低至0.69%。
• 在Fashion-MNIST上，采用相同增强策略后，分类错误率从8.56%降至8.16%。
• 检索增强训练（RAT）方法通过提供对数边缘似然的紧致下界，显著加速了训练过程。
• 留一法和子采样策略通过减少对单个实例的过拟合，提升了模型泛化能力。
• 该模型成功结合了基于实例生成的归纳偏置与参数化VAE的灵活性，实现了高质量且多样化的样本生成。