[论文解读] Disentangled Inference for GANs with Latently Invertible Autoencoder

Jiapeng Zhu, Deli Zhao+2 more|arXiv (Cornell University)|Jun 19, 2019

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出潜在可逆自编码器（LIA），一种两阶段方法，通过在潜在空间中嵌入对称可逆网络，实现生成对抗网络（GAN）中的解耦推理。通过先训练 GAN 解码器，再通过独立的自编码器学习解耦编码器，LIA 在 FFHQ 和 LSUN 数据集上实现了优于先前方法的图像重建质量与更快的收敛速度，达到当前最优性能。

ABSTRACT

Generative Adversarial Networks (GANs) play an increasingly important role in machine learning. However, there is one fundamental issue hindering their practical applications: the absence of capability for encoding real-world samples. The conventional way of addressing this issue is to learn an encoder for GAN via Variational Auto-Encoder (VAE). In this paper, we show that the entanglement of the latent space for the VAE/GAN framework poses the main challenge for encoder learning. To address the entanglement issue and enable inference in GAN we propose a novel algorithm named Latently Invertible Autoencoder (LIA). The framework of LIA is that an invertible network and its inverse mapping are symmetrically embedded in the latent space of VAE. The decoder of LIA is first trained as a standard GAN with the invertible network and then the partial encoder is learned from a disentangled autoencoder by detaching the invertible network from LIA, thus avoiding the entanglement problem caused by the random latent space. Experiments conducted on the FFHQ face dataset and three LSUN datasets validate the effectiveness of LIA/GAN.

研究动机与目标

• 解决 GAN 推理中的根本挑战，即真实图像无法可靠地编码到潜在空间中。
• 识别潜在空间（z 空间）的纠缠是基于变分自编码器（VAE）的 GAN 推理方法性能不佳的关键原因。
• 开发一种方法，实现在不损害图像生成质量的前提下，对 GAN 实现精确且解耦的潜在码推理。
• 设计一种两阶段训练方案，将解码器预训练与编码器学习解耦，避免纠缠问题。

提出的方法

• LIA 在自编码器的潜在空间中对称地嵌入一个可逆网络及其逆网络，实现潜在码与图像特征之间的双向映射。
• 首先，使用可逆网络将潜在空间映射到图像空间，以标准 GAN 方式预训练解码器。
• 然后，通过解耦自编码器学习编码器，方法是将可逆网络断开，确保学习到的潜在码是解耦的。
• 该方法采用两阶段训练流程：首先在可逆网络存在下训练 GAN，然后在解耦潜在空间上训练编码器。
• 可逆网络支持精确重建，并可通过编码器初始化潜在码，从而提升优化稳定性。
• 该框架支持将解码器替换为任意 GAN 生成器，支持图像编辑和数据增强等多样化应用。

实验结果

研究问题

• RQ1 为何基于 VAE 的 GAN 推理方法尽管使用变分推断，仍无法实现高重建质量？
• RQ2 与原始潜在空间（z 空间）的纠缠相比，中间潜在空间（y 空间）的解耦在推理性能上表现如何？
• RQ3 潜在空间中使用对称可逆网络能否提升 GAN 反演的准确性与稳定性？
• RQ4 使用 LIA 的编码器输出作为优化初始化，是否能带来比随机初始化或均值初始化更快的收敛速度与更好的重建效果？
• RQ5 两阶段训练方案能否有效解耦 GAN 生成与编码器学习，同时保持解耦性？

主要发现

• LIA 在 FFHQ 数据集上实现了最佳重建质量，其 FID 和 LPIPS 指标在对比方法中最高。
• 如图 12 所示，使用 LIA 的编码器输出作为初始化可显著加快优化收敛速度并降低重建损失。
• 在重建保真度与收敛速度方面，该方法显著优于随机初始化与基于均值的初始化（如 Image2StyleGAN 中所用）。
• 图 9 与表 4 的定性结果表明，LIA 比其他方法更准确地恢复了如蒙娜丽莎发型等精细细节。
• y 空间（解耦）中的实验显示，其收敛性与重建性能优于 z 空间（纠缠）中的优化，证明解耦对成功 GAN 推理至关重要。
• 两阶段训练方案成功避免了纠缠问题，实现了高质量的编码器学习，同时未损害 GAN 的生成能力。