[论文解读] Exemplar VAE: Linking Generative Models, Nearest Neighbor Retrieval, and Data Augmentation

Sajad Norouzi, David J. Fleet+1 more|arXiv (Cornell University)|Apr 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 61被引用 9

一句话总结

Exemplar VAE 提出了一种基于潜在码上 Parzen 窗口先验的非参数变分自编码器，通过转换随机训练样本实现生成。它在密度估计和表征学习方面取得了最先进性能，通过生成式数据增强将 MNIST 和 Fashion MNIST 的测试误差分别从 1.17% 降低至 0.69%，从 8.56% 降低至 8.16%。

ABSTRACT

We introduce Exemplar VAEs, a family of generative models that bridge the gap between parametric and non-parametric, exemplar based generative models. Exemplar VAE is a variant of VAE with a non-parametric prior in the latent space based on a Parzen window estimator. To sample from it, one first draws a random exemplar from a training set, then stochastically transforms that exemplar into a latent code and a new observation. We propose retrieval augmented training (RAT) as a way to speed up Exemplar VAE training by using approximate nearest neighbor search in the latent space to define a lower bound on log marginal likelihood. To enhance generalization, model parameters are learned using exemplar leave-one-out and subsampling. Experiments demonstrate the effectiveness of Exemplar VAEs on density estimation and representation learning. Importantly, generative data augmentation using Exemplar VAEs on permutation invariant MNIST and Fashion MNIST reduces classification error from 1.17% to 0.69% and from 8.56% to 8.16%.

研究动机与目标

• 通过将 VAE 与基于样本的学习相结合，弥合参数化与非参数化生成建模之间的差距。
• 通过在潜在空间中用非参数的 Parzen 窗口先验替代标准高斯先验，改进表征学习与密度估计。
• 通过检索增强训练（RAT）实现大规模数据集上基于样本模型的可扩展训练。
• 通过基于样本的留一法与子采样正则化提升泛化能力。
• 展示 Exemplar VAE 在监督学习中用于生成式数据增强的有效性。

提出的方法

• 在潜在空间中基于训练样本的 Parzen 窗口估计器使用非参数先验，替代 VAE 中的标准高斯先验。
• 通过首先随机抽取一个训练样本，然后通过学习到的解码器随机变换为潜在码和新观测值，实现对 Exemplar VAE 的采样。
• 提出检索增强训练（RAT），利用潜在空间中的近似最近邻搜索来计算对数边缘似然的下界，从而加速训练。
• 采用基于样本的留一法与子采样作为正则化方法，防止过拟合并提升泛化能力。
• 利用摊销变分推断，通过最大化对数似然的下界，联合优化自编码器、潜在空间与距离度量。
• 采用混合目标函数，结合重建损失与对比项，鼓励模型从不同样本中生成多样且合理的样本。

实验结果

研究问题

• RQ1 与高斯或 VampPrior 等参数化先验相比，VAE 潜在空间中的非参数先验是否能提升表征质量与密度估计性能？
• RQ2 检索增强训练（RAT）是否能显著加速基于样本的 VAE 训练，同时保持或提升性能？
• RQ3 使用 Exemplar VAE 进行生成式数据增强是否能提升监督分类任务中的泛化能力，特别是在排列不变数据集上？
• RQ4 通过联合优化自编码器与先验，模型是否能在不依赖预设度量的情况下学习到有意义的潜在空间与距离度量？
• RQ5 在基准数据集上，Exemplar VAE 与标准 VAE 及其他最先进模型相比，在测试误差与对数似然性能上表现如何？

主要发现

• 在 MNIST、Fashion MNIST、Omniglot 和 CelebA 数据集上，Exemplar VAE 在密度估计方面优于使用高斯先验的标准 VAE 与 VampPrior。
• 在排列不变的 MNIST 上，模型实现 0.69% 的测试误差，将基线误差 1.17% 降低了 41.0%，表明通过数据增强实现了强大的泛化能力。
• 在 Fashion MNIST 上，基于 Exemplar VAE 的数据增强将测试误差从 8.56% 降低至 8.16%，相对提升 4.7%。
• 检索增强训练（RAT）通过使用近似最近邻搜索计算对数似然的下界，实现了大规模数据集上的高效训练。
• 基于样本的留一法与子采样正则化显著降低了过拟合并提升了泛化能力，尤其在低数据场景下效果明显。
• 使用 Exemplar VAE 进行生成式数据增强所得到的分类器性能优于仅使用真实数据训练的模型，即使训练时仅使用合成数据亦然。