[论文解读] LIA: Latently Invertible Autoencoder with Adversarial Learning

Jiapeng Zhu, Deli Zhao+2 more|arXiv (Cornell University)|Sep 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 13

一句话总结

本文提出了一种新型的基于生成对抗网络（GAN）的框架——潜在可逆自编码器（LIA），通过在变分自编码器（VAE）的潜在空间中嵌入对称可逆网络，实现了真实图像的解耦且可逆的编码。通过先以 GAN 训练解码器，再从解耦自编码器中学习部分编码器，LIA 避免了 VAE/GAN 框架中的特征纠缠问题，在 FFHQ 和 LSUN 数据集上实现了高质量的图像生成与重建。

ABSTRACT

Generative Adversarial Networks (GANs) play an increasingly important role in machine learning. However, there is one fundamental issue hindering their practical applications: the absence of capability for encoding real-world samples. The conventional way of addressing this issue is to learn an encoder for GAN via Variational Auto-Encoder (VAE). In this paper, we show that the entanglement of the latent space for the VAE/GAN framework poses the main challenge for encoder learning. To address the entanglement issue and enable inference in GAN we propose a novel algorithm named Latently Invertible Autoencoder (LIA). The framework of LIA is that an invertible network and its inverse mapping are symmetrically embedded in the latent space of VAE. The decoder of LIA is first trained as a standard GAN with the invertible network and then the partial encoder is learned from a disentangled autoencoder by detaching the invertible network from LIA, thus avoiding the entanglement problem caused by the random latent space. Experiments conducted on the FFHQ face dataset and three LSUN datasets validate the effectiveness of LIA/GAN.

研究动机与目标

• 为解决 GAN 在编码真实世界图像时因缺乏可逆推理而导致的根本性局限。
• 将 VAE/GAN 框架中的潜在空间纠缠识别为有效编码器学习的主要障碍。
• 提出一种方法，通过将编码器训练与 VAE 的纠缠潜在空间解耦，实现解耦且可逆的编码。
• 通过结合 GAN 训练与可逆自编码，实现高质量的图像生成与重建。
• 在包括 FFHQ 和 LSUN 在内的多样化基准数据集上验证该框架，证明其性能优于传统 VAE/GAN 方法。

提出的方法

• LIA 在 VAE 的潜在空间中嵌入对称可逆网络及其逆网络，实现从潜在码的精确重建。
• 首先使用可逆网络将潜在码映射为真实图像，以标准 GAN 的方式训练解码器。
• GAN 训练完成后，将可逆网络分离，并在解耦的潜在空间上训练部分编码器，以将真实图像映射为潜在码。
• 通过独立训练编码器，保留了解耦的潜在空间，避免了标准 VAE 中因随机噪声引起的纠缠。
• 该框架利用对抗学习提升图像质量，同时通过对称可逆映射保持可逆性与解耦性。
• 该方法通过利用可逆结构与解耦表示，确保学习到的编码器能够以高保真度重建真实图像。

实验结果

研究问题

• RQ1 能否通过将编码器学习与 VAE 的纠缠潜在空间解耦，在基于 GAN 的框架中实现可逆且解耦的图像编码？
• RQ2 在潜在空间中使用对称可逆网络是否能提升 GAN 中图像重建的保真度与解耦性？
• RQ3 与标准 VAE/GAN 框架相比，LIA 在图像生成质量与重建精度方面表现如何？
• RQ4 所提出的方法是否能在无需架构修改的情况下泛化至 FFHQ 和 LSUN 等多样化数据集？
• RQ5 通过解耦自编码器训练消除纠缠，对基于 GAN 的图像生成性能有何影响？

主要发现

• LIA 通过将编码器学习与 VAE 的纠缠潜在空间解耦，成功在 GAN 中实现了可逆且解耦的编码。
• 该框架在 FFHQ 人脸数据集上实现了高质量的图像生成与重建，表现出优异的感知质量。
• 通过解耦自编码器训练避免纠缠，LIA 在重建保真度方面优于标准 VAE/GAN 框架。
• 对称可逆网络的使用确保了从潜在码的精确重建，从而在 GAN 中实现了可靠的推理。
• 在 LSUN 数据集上的实验验证了 LIA 在多样化图像领域中的泛化能力。
• LIA 学习到的解耦潜在空间支持有意义的图像属性插值与操作，表明其解耦性得到显著提升。