[论文解读] Adaptable GAN Encoders for Image Reconstruction via Multi-type Latent Vectors with Two-scale Attentions

Cheng Yu, Wenmin Wang|arXiv (Cornell University)|Aug 23, 2021

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 5

一句话总结

本文提出MTV-TSA，一种新颖的GAN编码器框架，通过使用多类型潜在向量和双尺度注意力机制，实现在多种预训练GAN（包括生成错位或真实图像的模型）中的高保真图像重建。该方法通过统一的卷积块和微调归一化层适配多种GAN架构，实现更快的收敛速度和在非对齐图像与真实图像上的优越性能。

ABSTRACT

Although current deep generative adversarial networks (GANs) could synthesize high-quality (HQ) images, discovering novel GAN encoders for image reconstruction is still favorable. When embedding images to latent space, existing GAN encoders work well for aligned images (such as the human face), but they do not adapt to more generalized GANs. To our knowledge, current state-of-the-art GAN encoders do not have a proper encoder to reconstruct high-fidelity images from most misaligned HQ synthesized images on different GANs. Their performances are limited, especially on non-aligned and real images. We propose a novel method (named MTV-TSA) to handle such problems. Creating multi-type latent vectors (MTV) from latent space and two-scale attentions (TSA) from images allows designing a set of encoders that can be adaptable to a variety of pre-trained GANs. We generalize two sets of loss functions to optimize the encoders. The designed encoders could make GANs reconstruct higher fidelity images from most synthesized HQ images. In addition, the proposed method can reconstruct real images well and process them based on learned attribute directions. The designed encoders have unified convolutional blocks and could match well in current GAN architectures (such as PGGAN, StyleGANs, and BigGAN) by fine-tuning the corresponding normalization layers and the last block. Such well-designed encoders can also be trained to converge more quickly.

研究动机与目标

• 解决现有GAN编码器在多种预训练GAN中对错位或真实图像进行高保真图像重建的局限性。
• 开发一种可适配多种GAN架构（如PGGAN、StyleGANs和BigGAN）的统一编码器架构。
• 在对齐人脸图像之外，提升GAN中图像重建的保真度与收敛速度。
• 通过学习解耦的属性方向，使所提出的编码器能够对真实图像进行属性操控。

提出的方法

• 引入多类型潜在向量（MTV）以在潜在空间中表示多样化的图像特征，增强表征能力。
• 应用双尺度注意力（TSA）以提取图像的全局与局部特征，提升特征对齐与重建精度。
• 设计广义损失函数，以在不同GAN架构间优化编码器，确保性能一致性。
• 编码器使用统一的卷积块，并对归一化层及最后一层块进行微调，以匹配特定GAN架构。
• 通过两组损失函数端到端训练框架，以平衡感知质量与重建保真度。
• 该方法与现有GAN（如StyleGAN、PGGAN和BigGAN）兼容，通过最小的架构调整实现即插即用的适配。

实验结果

研究问题

• RQ1 单一编码器架构是否能泛化应用于多种预训练GAN，实现高保真图像重建？
• RQ2 多类型潜在向量的使用在错位与真实图像上的重建质量提升方面有何作用？
• RQ3 双尺度注意力机制在多大程度上增强了特征表征与重建保真度？
• RQ4 与现有GAN编码器相比，所提出的编码器是否实现了更快的收敛速度？
• RQ5 学习到的潜在空间是否能支持对真实图像进行有意义的属性操控？

主要发现

• 所提出的MTV-TSA编码器在错位高质量图像上的重建保真度高于当前最先进GAN编码器。
• 通过在潜在空间中学习解耦的属性方向，该方法能有效实现从真实图像的图像重建。
• 由于采用统一的卷积块和微调归一化层，编码器在训练过程中收敛更快。
• 该框架可兼容多种GAN架构，包括PGGAN、StyleGANs和BigGAN，且无需重大架构修改。
• 双尺度注意力机制显著提升了特征表征能力，尤其在捕捉局部细节与全局上下文方面表现突出。
• 广义损失函数有助于训练稳定，并提升重建图像的感知质量。