[论文解读] Generate High Resolution Images With Generative Variational Autoencoder

Abhinav Sagar|arXiv (Cornell University)|Aug 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 6

一句话总结

本文提出了一种新颖的生成模型，将变分自编码器（VAE）与类似生成对抗网络（GAN）的判别器相结合，以生成高分辨率图像。通过在保留编码器的同时，用判别器替代VAE的解码器，该模型在MNIST、LSUN和CelebA数据集上，显著提升了图像的清晰度和多项指标表现，优于先前的最先进方法。

ABSTRACT

In this work, we present a novel neural network to generate high resolution images. We replace the decoder of VAE with a discriminator while using the encoder as it is. The encoder is fed data from a normal distribution while the generator is fed from a gaussian distribution. The combination from both is given to a discriminator which tells whether the generated image is correct or not. We evaluate our network on 3 different datasets: MNIST, LSUN and CelebA dataset. Our network beats the previous state of the art using MMD, SSIM, log likelihood, reconstruction error, ELBO and KL divergence as the evaluation metrics while generating much sharper images. This work is potentially very exciting as we are able to combine the advantages of generative models and inference models in a principled bayesian manner.

研究动机与目标

• 开发一种能够生成高分辨率图像并提升感知质量的深度生成模型。
• 在严谨的贝叶斯框架下，整合变分推断（VAE）与对抗训练（GAN）的优势。
• 通过用判别器替代解码器，解决标准VAE在生成清晰图像方面的局限性。
• 通过MMD、SSIM、对数似然和重建误差等多种指标，在多样化数据集上评估该模型。

提出的方法

• 保留VAE的编码器，用于将来自标准正态分布的潜在码映射为潜在表征。
• 生成器网络接收相同的潜在码，并生成图像样本，替代传统的VAE解码器。
• 训练判别器以区分真实图像与生成图像，提供对抗性反馈。
• 使用VAE目标（ELBO、KL散度）与对抗损失相结合的方式，端到端训练模型，以提升图像质量。
• 潜在码从高斯先验中采样，生成器基于这些样本生成图像。
• 训练过程联合优化重建、似然与对抗目标，以增强生成图像的保真度与多样性。

实验结果

研究问题

• RQ1 用判别器替代VAE解码器是否能提升生成高分辨率图像的质量？
• RQ2 所提出的VAE-GAN混合模型在图像清晰度与指标表现方面，相较于最先进方法表现如何？
• RQ3 在贝叶斯框架下，将变分推断与对抗训练相结合，能在多大程度上提升生成质量？
• RQ4 该模型是否能在MNIST、LSUN和CelebA等多样化数据集上实现良好泛化？

主要发现

• 所提出的模型在MNIST、LSUN和CelebA数据集上，于MMD、SSIM、对数似然和重建误差等多种评估指标上均达到最先进水平。
• 与标准VAE相比，该模型生成的图像显著更清晰，其感知质量更高，重建误差更低。
• VAE与GAN组件的结合使ELBO提升且KL散度降低，表明后验近似更加准确。
• 该模型以严谨的贝叶斯方式，在生成真实且多样化的高分辨率图像方面优于先前方法。