[论文解读] Learning Inverse Mapping by Autoencoder based Generative Adversarial Nets

Junyu Luo, Yong Xu+2 more|arXiv (Cornell University)|Mar 29, 2017

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 5

一句话总结

本文提出 AEGAN，一种基于自编码器的方法，通过将逆生成器（IG）作为编码器，预训练的 GAN 生成器作为解码器，学习从图像空间到潜在空间的逆映射。通过最小化相同潜在代码生成图像之间的重建损失，AEGAN 克服了现有逆 GAN 模型在训练稳定性与相关性差方面的问题，在无监督图像搜索与超分辨率任务中实现了最先进性能。

ABSTRACT

The inverse mapping of GANs'(Generative Adversarial Nets) generator has a great potential value.Hence, some works have been developed to construct the inverse function of generator by directly learning or adversarial learning.While the results are encouraging, the problem is highly challenging and the existing ways of training inverse models of GANs have many disadvantages, such as hard to train or poor performance.Due to these reasons, we propose a new approach based on using inverse generator ($IG$) model as encoder and pre-trained generator ($G$) as decoder of an AutoEncoder network to train the $IG$ model. In the proposed model, the difference between the input and output, which are both the generated image of pre-trained GAN's generator, of AutoEncoder is directly minimized. The optimizing method can overcome the difficulty in training and inverse model of an non one-to-one function.We also applied the inverse model of GANs' generators to image searching and translation.The experimental results prove that the proposed approach works better than the traditional approaches in image searching.

研究动机与目标

• 为解决 GAN 生成器固有的非单射与非可逆性，训练稳定且准确的逆模型所面临的挑战。
• 通过自编码器框架，克服现有方法在重建质量差、依赖标注数据或优化速度慢等方面的局限。
• 在无需监督微调的情况下，利用学习到的逆映射实现高效的图像检索与图像到图像的转换。
• 证明逆生成器可生成语义丰富的潜在表示，其效果可与词嵌入相媲美，适用于下游视觉任务。

提出的方法

• AEGAN 使用预训练的 GAN 生成器作为解码器，并在自编码器架构中训练逆生成器（IG）作为编码器。
• 模型最小化相同潜在代码生成图像之间的 L2 损失：$ \| G(IG(x)) - x \|_2^2 $，其中 $ x $ 为真实图像，$ G $ 为预训练生成器。
• 训练过程避免直接优化潜在代码 $ z $，从而规避了先前方法中使用的迭代梯度下降。
• 编码器（IG）与固定生成器端到端联合训练，实现从真实图像到对应潜在代码的端到端映射。
• 该方法无需生成器与判别器的联合训练，使得逆映射可从预训练 GAN 中学习。
• 通过利用 IG 生成的语义丰富的潜在代码，将该方法应用于图像搜索与超分辨率任务。

实验结果

研究问题

• RQ1 与对抗性或基于优化的方法相比，基于自编码器的框架是否能提升逆 GAN 建模的稳定性和质量？
• RQ2 所学习的逆映射是否能保留对图像检索与转换任务有用的高层语义特征？
• RQ3 逆生成器能否生成对模糊或色彩偏移等图像退化具有鲁棒性的潜在代码，从而实现无监督超分辨率？
• RQ4 在无监督条件下，AEGAN 与传统哈希方法（如 dHash）在图像相似性搜索中的性能相比如何？
• RQ5 该逆模型在多大程度上可用于实现半监督图像到图像的转换？

主要发现

• AEGAN 与原始图像的 dHash 相似度达 0.8266，优于直接训练（0.7944）与 BiGAN（0.6594），表明其重建质量更优。
• 在图像搜索任务中，AEGAN 达到 0.7918 的标签相似度，显著高于 dHash（0.7483），证明其语义对齐能力更强。
• 该方法在无需任何微调的情况下，成功将模糊图像重建为清晰版本，展示了在超分辨率任务中的鲁棒性与泛化能力。
• 逆生成器能够捕捉关键面部特征，如面部角度、表情与发型，即使在外观变化下也能实现准确检索。
• AEGAN 通过仅条件性训练编码器部分，而保持生成器预训练，实现了无监督图像到图像的转换。
• 该方法具有普适性，无需标注数据，适用于大规模、开放域视觉应用。