[论文解读] Conditional Autoencoders with Adversarial Information Factorization

Antonia Creswell, Anil A. Bharath+1 more|arXiv (Cornell University)|Nov 14, 2017

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 20

一句话总结

本文提出一种带有对抗性信息因子分解的条件自编码器，将潜在空间解耦为独立的连续（重建）和离散（属性分类）分量。通过对抗性损失和辅助标签进行训练，该模型实现了生成图像中精确的属性编辑，同时保持了高保真度的重建效果。

ABSTRACT

Generative models, such as variational auto-encoders (VAE) and generative adversarial networks (GAN), have been immensely successful in approximating image statistics in computer vision. VAEs are useful for unsupervised feature learning, while GANs alleviate supervision by penalizing inaccurate samples using an adversarial game. In order to utilize benefits of these two approaches, we combine the VAE under an adversarial setup with auxiliary label information. We show that factorizing the latent space to separate the information needed for reconstruction (a continuous space) from the information needed for image attribute classification (a discrete space), enables the capability to edit specific attributes of an image.

研究动机与目标

• 结合变分自编码器（VAE）在无监督特征学习方面的优势与生成对抗网络（GAN）在高质量样本生成方面的优势。
• 将潜在空间解耦为独立的重建与属性分类分量。
• 通过解耦的潜在因子实现对特定属性的可控图像生成。
• 利用辅助标签信息提升潜在因子的解耦效果与生成质量。

提出的方法

• 将变分自编码器与对抗判别器结合，以提升生成样本的质量。
• 将潜在空间因子分解为用于图像重建的连续分量和用于属性分类的离散分量。
• 利用辅助标签监督引导潜在因子的解耦。
• 采用对抗性训练惩罚不真实的样本，提升生成结果的保真度。
• 采用端到端训练方式，联合优化重建损失、对抗性损失与分类损失。

实验结果

研究问题

• RQ1 在条件变分自编码器（conditional VAE）框架中，对抗性训练是否能提升图像生成质量？
• RQ2 将潜在空间解耦为连续与离散分量是否能实现更优的属性控制？
• RQ3 辅助标签信息是否能增强潜在因子的解耦效果与生成性能？
• RQ4 在多大程度上可利用解耦的潜在因子对特定图像属性进行编辑？

主要发现

• 通过在潜在空间中分离重建信息与属性相关的信息，该模型实现了高保真度的图像重建。
• 解耦的潜在因子使得对特定图像属性的精确编辑成为可能，且不会影响其他特征。
• 辅助标签的使用提升了潜在因子的解耦效果，并增强了生成样本的质量。
• 对抗性训练使生成的图像比标准变分自编码器（VAE）更具真实感。