[论文解读] Adversarially Approximated Autoencoder for Image Generation and Manipulation

Wenju Xu, Shawn Keshmiri+1 more|arXiv (Cornell University)|Feb 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 59被引用 6

一句话总结

本文提出了一种新型生成模型——对抗近似自编码器（Adversarially Approximated Autoencoder, AAAE），通过对抗训练来近似未正则化的自编码器所学习的潜在空间分布，从而统一自编码器与生成对抗网络（GAN）的优势。与在潜在码上强制施加固定先验不同，AAAE 训练一个生成器将随机噪声映射到真实的潜在分布，从而在无需显式正则化的情况下实现高保真图像重建与高质量样本生成，在多个基准测试中表现优于当前最先进方法。

ABSTRACT

Regularized autoencoders learn the latent codes, a structure with the regularization under the distribution, which enables them the capability to infer the latent codes given observations and generate new samples given the codes. However, they are sometimes ambiguous as they tend to produce reconstructions that are not necessarily faithful reproduction of the inputs. The main reason is to enforce the learned latent code distribution to match a prior distribution while the true distribution remains unknown. To improve the reconstruction quality and learn the latent space a manifold structure, this work present a novel approach using the adversarially approximated autoencoder (AAAE) to investigate the latent codes with adversarial approximation. Instead of regularizing the latent codes by penalizing on the distance between the distributions of the model and the target, AAAE learns the autoencoder flexibly and approximates the latent space with a simpler generator. The ratio is estimated using generative adversarial network (GAN) to enforce the similarity of the distributions. Additionally, the image space is regularized with an additional adversarial regularizer. The proposed approach unifies two deep generative models for both latent space inference and diverse generation. The learning scheme is realized without regularization on the latent codes, which also encourages faithful reconstruction. Extensive validation experiments on four real-world datasets demonstrate the superior performance of AAAE. In comparison to the state-of-the-art approaches, AAAE generates samples with better quality and shares the properties of regularized autoencoder with a nice latent manifold structure.

研究动机与目标

• 解决正则化自编码器因先验分布与真实潜在分布不匹配而导致图像重建保真度不足的问题。
• 在单一框架内统一自编码器（重建能力）与生成对抗网络（多样化生成能力）的优势。
• 通过对抗近似隐式学习真实潜在分布，消除对潜在码显式正则化的依赖。
• 提升重建保真度，同时学习平滑、结构化的潜在流形，而不强制施加固定先验分布。

提出的方法

• 该方法使用未正则化的自编码器学习恒等映射，以在潜在空间中保留真实数据分布。
• 一个独立的生成器网络将随机噪声映射到潜在码，以近似真实潜在分布。
• 训练一个判别器以区分来自编码器的真实潜在码与来自生成器的虚假潜在码，通过对抗训练强制实现分布相似性。
• 引入另一个判别器以正则化图像空间，确保生成样本的真实性。
• 训练目标结合了重建损失以及潜在空间和图像空间的对抗损失，从而无需对潜在码施加显式正则化。
• 该框架利用对抗近似统一自编码器与GAN的目标，实现高保真重建与多样化生成。

实验结果

研究问题

• RQ1 通过对抗近似潜在空间是否能提升自编码器在无显式正则化条件下的重建保真度？
• RQ2 用隐式、数据驱动的潜在分布替代固定先验，对样本质量与流形结构有何影响？
• RQ3 结合自编码器与GAN的统一框架能否同时实现高保真重建与多样化生成？
• RQ4 潜在码上缺乏显式正则化是否能在真实世界图像数据集上带来更优性能？

主要发现

• AAAE 在图像重建质量方面优于正则化自编码器与当前最先进 GAN 模型。
• 该模型在四个真实世界数据集（包括 CelebA 和 MNIST）上生成了高保真、多样化的样本。
• 潜在空间插值结果表明流形平滑且结构清晰，表明模型实现了有效的解耦与连续性。
• 由于模型直接学习真实潜在分布，潜在码上无显式正则化导致了更保真的重建结果。
• 所提方法在重建精度与样本多样性之间实现了更优平衡，优于 VAE 与 GAN。