[论文解读] Generative adversarial interpolative autoencoding: adversarial training on latent space interpolations encourage convex latent distributions

Tim Sainburg, Marvin Thielk+3 more|arXiv (Cornell University)|Jul 17, 2018

Advanced Image Processing Techniques参考文献 40被引用 43

一句话总结

GAIA 将自编码器和 GAN 元素结合，在潜在空间插值上进行训练，促进凸的潜在分布并实现跨空间的真实重建，具备双向映射。

ABSTRACT

We present a neural network architecture based upon the Autoencoder (AE) and Generative Adversarial Network (GAN) that promotes a convex latent distribution by training adversarially on latent space interpolations. By using an AE as both the generator and discriminator of a GAN, we pass a pixel-wise error function across the discriminator, yielding an AE which produces non-blurry samples that match both high- and low-level features of the original images. Interpolations between images in this space remain within the latent-space distribution of real images as trained by the discriminator, and therfore preserve realistic resemblances to the network inputs. Code available at https://github.com/timsainb/GAIA

研究动机与目标

• 促使生成建模以探索知觉与心理物理表征。
• 通过对插值进行对抗训练来促进潜在空间的凸性。
• 实现通过判别器进行逐像素重建的 X↔Z 双向映射。
• 在保持清晰、逼真的样本的同时，保留潜在空间的高维结构。

提出的方法

• 在 GAN 框架内将自编码器同时用作生成器和判别器。
• 使用通过判别器传播的逐像素（L1）损失进行训练，以减少模糊。
• 在潜在空间插值（z_int）上进行训练，以强制潜在样本凸组合的真实感。
• 加入保持距离的正则化，使 X 与 Z 的成对距离对齐（多维标度风格）。
• 将 GAIA 与 AE 和 VAE 在 2D 数据集和 CELEBA-HQ 上进行比较，评估插值的真实感和潜在空间结构。

实验结果

研究问题

• RQ1 对潜在空间插值进行对抗训练是否会产生凸的潜在分布，从而使插值样本具备真实感？
• RQ2 在保持高维结构的同时，GAIA 是否能实现清晰样本的 X↔Z 双向映射？
• RQ3 就插值真实感和潜在空间结构而言，GAIA 相对于 AE 和 VAE 在低维和高维数据集上的表现如何？
• RQ4 GAIA 的潜在空间插值是否比标准 AE 或 VAE 更常位于真实数据分布内？
• RQ5 是否可以在 GAIA 的潜在空间中线性操控高层属性，类似于其他生成模型？

主要发现

• 在 2D 数据集上，与 AE 和 VAE 相比，GAIA 的插值（Gd( z_int )）最有可能落在数据分布内。
• 结合距离损失的 GAIA 相较于 AE 或 VAE，在成对 X 与 Z 距离之间保持更强的一致性。
• GAIA 能在保持高维结构的同时，通过通过判别器传播的逐像素损失实现清晰且不模糊的重建。
• 在 2D 数据集上，GAIA 的插值样本与 VAE 在投影插值方面同样有效地匹配真实数据分布，同时尊重原始数据结构。
• GAIA 能实现真实的潜在空间插值，并展示了在像素级上重构样本的双向推断。