[论文解读] IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesis

Huaibo Huang, zhihang li+3 more|arXiv (Cornell University)|Jul 17, 2018

Generative Adversarial Networks and Image Synthesis被引用 163

一句话总结

IntroVAE 以自我内省、对抗的方式训练 VAE，无需额外判别器，实现单流、单阶段的高分辨率摄影图像合成，达到与最先进 GANs 相当的效果。

ABSTRACT

We present a novel introspective variational autoencoder (IntroVAE) model for synthesizing high-resolution photographic images. IntroVAE is capable of self-evaluating the quality of its generated samples and improving itself accordingly. Its inference and generator models are jointly trained in an introspective way. On one hand, the generator is required to reconstruct the input images from the noisy outputs of the inference model as normal VAEs. On the other hand, the inference model is encouraged to classify between the generated and real samples while the generator tries to fool it as GANs. These two famous generative frameworks are integrated in a simple yet efficient single-stream architecture that can be trained in a single stage. IntroVAE preserves the advantages of VAEs, such as stable training and nice latent manifold. Unlike most other hybrid models of VAEs and GANs, IntroVAE requires no extra discriminators, because the inference model itself serves as a discriminator to distinguish between the generated and real samples. Experiments demonstrate that our method produces high-resolution photo-realistic images (e.g., CELEBA images at \(1024^{2}\)), which are comparable to or better than the state-of-the-art GANs.

研究动机与目标

• 动机与目标：解决 VAE 生成图像的模糊性以及 GAN 在高分辨率合成中的训练不稳定性。
• 提出一种自省式 VAE，能够自估真实数据与生成数据之间的差异。
• 开发一个简单的单流架构，将 VAE 与类 GAN 的对抗学习整合在一起，而无需额外的判别器。
• 展示具有稳定训练和竞争力质量的高分辨率摄影图像合成（例如 10242 CelebA-HQ）。

提出的方法

• 将 VAE 推理模型用作判别器，VAE 生成器用作 GAN 生成器，形成极小极大博弈。
• 基于 KL 散度正则化的对抗性分布匹配：E 对真实数据最小化 L_REG，而对生成数据最大化；G 对生成数据最小化 L_REG。
• 将对抗目标与 ELBO（重构）目标结合，形成混合的 IntroVAE 训练目标。
• 损失：L_E(x,z)=E(x)+[m−E(G(z))]+L_AE(x); L_G(z)=E(G(z))+L_AE(x)，其中 E 是编码器，G 是解码器/生成器，L_AE 是逐像素重构项。
• 采用重参数化技巧，z=μ+σ⊙ε，KL 项 L_REG 根据 μ, σ 计算，p(z)=N(0,I)。
• 以类似于 GAN 的单阶段、单流网络进行训练，但保持 VAE 的稳定性。

实验结果

研究问题

• RQ1 自省式 VAE（IntroVAE）是否能够在不需要额外判别器的情况下实现高分辨率、照片级真实感的图像合成？
• RQ2 将 VAE ELBO 重构与极小极大对抗目标结合，是否提升高分辨率图像的样本清晰度、多样性和训练稳定性？
• RQ3 单流单阶段架构是否足以在 CelebA-HQ 的 10242 分辨率数据集上与多阶段 GAN（如 PGGAN）竞争？
• RQ4 IntroVAE 在潜在流形质量和真实图像之间的插值方面的表现如何？

主要发现

• IntroVAE 在 CelebA-HQ 上生成高分辨率（10242）照片级真实感的图像，达到与最先进的 GAN 相当或更好。
• 训练表现出稳定性，损失收敛到大致平衡的线附近，其中 E(x) 在 [0, m] 内稳定。
• 在 MS-SSIM 和 FID 的定量评估下，样本多样性具有竞争力，通常与 PGGAN 在 CELEBA 和 LSUN BEDROOM 数据集上相匹配甚至超越（例如 CELEBA：MS-SSIM 0.2719 vs 0.2828；FID 0.0532 vs 0.0636； LSUN BEDROOM：FID 8.84 vs 8.34）。
• 该模型支持高质量的重构和采样；LSUN Bedroom 结果与 PGGAN 相当。
• 对真实 CelebA-HQ 图像的潜在空间插值显示流形连续性（属性如性别和侧脸视角之间的平滑过渡）。
• 训练速度随图像分辨率提高而增加：1282（0.5 天），2562（1 天），5122（7 天），10242（21 天）。