[论文解读] Generated Loss and Augmented Training of MNIST VAE

Jason Chou|arXiv (Cornell University)|Apr 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 9被引用 5

一句话总结

本文研究了在生成样本上使用VAE损失——称为'生成损失'——作为生成质量的代理度量，并通过重复编码/解码进行数据增强，以改进MNIST VAE。尽管在卷积模型中生成损失无法准确反映实际生成质量，但从未均值潜在向量重复推理得到的样本始终更典型、更接近教科书式的手写数字，表明VAE具有内在的聚类特性；然而，增强训练并未提升性能。

ABSTRACT

The variational autoencoder (VAE) framework is a popular option for training unsupervised generative models, featuring ease of training and latent representation of data. The objective function of VAE does not guarantee to achieve the latter, however, and failure to do so leads to a frequent failure mode called posterior collapse. Even in successful cases, VAEs often result in low-precision reconstructions and generated samples. The introduction of the KL-divergence weight $β$ can help steer the model clear of posterior collapse, but its tuning is often a trial-and-error process with no guiding metrics. Here we test the idea of using the total VAE loss of generated samples (generated loss) as the proxy metric for generation quality, the related hypothesis that VAE reconstruction from the mean latent vector tends to be a more typical example of its class than the original, and the idea of exploiting this property by augmenting training data with generated variants (augmented training). The results are mixed, but repeated encoding and decoding indeed result in qualitatively and quantitatively more typical examples from both convolutional and fully-connected MNIST VAEs, suggesting that it may be an inherent property of the VAE framework.

研究动机与目标

• 评估生成样本上的总VAE损失（生成损失）是否可作为生成质量的可靠代理度量。
• 检验假设：从未均值潜在向量重复编码和解码可生成更典型、更具代表性的各类数字样本。
• 探究使用生成样本增强训练数据是否可提升VAE的生成质量。
• 比较不同VAE架构和超参数下生成损失与标准度量（如FID）的行为差异。

提出的方法

• 在生成样本上测量总VAE损失（ELBO）作为'生成损失'，以评估生成过程中的模型性能。
• 使用均值潜在向量进行迭代编码和解码，生成越来越典型的数字重构结果。
• 基于训练好的分类器计算条件p值，定量评估生成样本和重构样本相对于其类别分布的'典型性'。
• 将VAE生成的样本加入训练集并重新训练模型，以评估生成质量是否得到提升。
• 在MNIST上训练卷积和全连接VAE架构，使用不同的$eta$值，以评估其敏感性和泛化能力。
• 比较不同$eta$值下的生成损失、训练/测试损失和FID得分，评估其与感知质量的相关性。

实验结果

研究问题

• RQ1 生成损失是否与实际生成质量（以FID或人类感知衡量）相关？
• RQ2 从未均值潜在向量重复编码和解码是否可生成更典型、更具代表性的各类数字样本？
• RQ3 使用生成样本进行数据增强是否可提升VAE的生成质量？
• RQ4 生成损失对卷积和全连接VAE架构的敏感性有何差异？
• RQ5 观察到的典型性提升是VAE变分优化过程所致，还是架构归纳偏置的结果？

主要发现

• 生成损失无法可靠反映生成质量，尤其在卷积VAE中表现不佳，其滞后于训练损失，且与FID得分相关性差。
• 对于卷积和全连接MNIST VAE，从未均值潜在向量重复编码和解码始终能生成更典型、更接近教科书式的手写数字样本。
• 条件p值显示，生成样本和重构样本均收敛至类别分布的众数，且训练样本收敛速度高于生成样本。
• 尽管重复重构样本的典型性得到提升，但使用生成样本进行增强训练并未改善VAE的生成质量。
• 生成损失对$eta$的敏感性在全连接VAE中高于卷积VAE，表明架构归纳偏置影响损失行为。
• 重复推理产生更典型样本的倾向似乎是VAE框架的内在特性，可能源于潜在空间中重构损失的最小化。